Python爬虫进阶三之Scrapy框架安装配置

初级的爬虫咱们利用urllib和urllib2库以及正则表达式就能够完成了，不过还有更增强大的工具，爬虫框架Scrapy，这安装过程也是煞费苦心哪，在此整理以下。

Windows 平台：

个人系统是 Win7，首先，你要有Python，我用的是2.7.7版本，Python3相仿，只是一些源文件不一样。

官网文档：http://doc.scrapy.org/en/latest/intro/install.html，最权威哒，下面是个人亲身体验过程。

1.安装Python

安装过程我就很少说啦，个人电脑中已经安装了 Python 2.7.7 版本啦，安装完以后记得配置环境变量，好比个人安装在D盘，D:\python2.7.7，就把如下两个路径添加到Path变量中

 

1	D:\python2.7.7;D:\python2.7.7\Scripts

配置好了以后，在命令行中输入 python –version，若是没有提示错误，则安装成功

2.安装pywin32

在windows下，必须安装pywin32，安装地址：http://sourceforge.net/projects/pywin32/

下载对应版本的pywin32，直接双击安装便可，安装完毕以后验证：

在python命令行下输入

import win32com

若是没有提示错误，则证实安装成功

3.安装pip

pip是用来安装其余必要包的工具，首先下载 get-pip.py

下载好以后，选中该文件所在路径，执行下面的命令

 

1	python get-pip.py

执行命令后便会安装好pip，而且同时，它帮你安装了setuptools

安装完了以后在命令行中执行

 

1	pip --version

若是提示以下，说明就安装成功了，若是提示不是内部或外部命令，那么就检查一下环境变量有没有配置好吧，有两个路径。

4.安装pyOPENSSL

在Windows下，是没有预装pyOPENSSL的，而在Linux下是已经安装好的。

安装地址：https://launchpad.net/pyopenssl

5.安装 lxml

lxml的详细介绍 点我 ，是一种使用 Python 编写的库，能够迅速、灵活地处理 XML

直接执行以下命令

 

1	pip install lxml

就可完成安装，若是提示 Microsoft Visual C++库没安装，则 点我 下载支持的库。

6.安装Scrapy

最后就是激动人心的时刻啦，上面的铺垫作好了，咱们终于能够享受到胜利的果实啦！

执行以下命令

 

1	pip install Scrapy

pip 会另外下载其余依赖的包，这些就不要咱们手动安装啦，等待一会，大功告成！

7.验证安装

输入 Scrapy

若是提示以下命令，就证实安装成功啦，若是失败了，请检查上述步骤有何疏漏。

Linux Ubuntu 平台：

Linux 下安装很是简单，只须要执行几条命令几个

1.安装Python

 

1	sudo apt-get install python2.7 python2.7-dev

2.安装 pip

首先下载 get-pip.py

下载好以后，选中该文件所在路径，执行下面的命令

 

1	sudo python get-pip.py

3.直接安装 Scrapy

因为 Linux下已经预装了 lxml 和 OPENSSL

若是想验证 lxml ，能够分别输入

 

1	sudo pip install lxml

出现下面的提示这证实已经安装成功

 

1	Requirement already satisfied (use --upgrade to upgrade): lxml in /usr/lib/python2.7/dist-packages

若是想验证 openssl，则直接输入openssl 便可，若是跳转到 OPENSSL 命令行，则安装成功。

接下来直接安装 Scrapy 便可

 

1	sudo pip install Scrapy

安装完毕以后，输入 scrapy

注意，这里linux下不要输入Scrapy，linux依然严格区分大小写的，感谢kamen童鞋提醒。

若是出现以下提示，这证实安装成功

 

1 2 3 4 5 6 7 8 9 10 11 12 13 14

Usage: scrapy <command> [options] [args]   Available commands: bench Run quick benchmark test fetch Fetch a URL using the Scrapy downloader runspider Run a self-contained spider (without creating a project) settings Get settings values shell Interactive scraping console startproject Create new project version Print Scrapy version view Open URL in browser, as seen by Scrapy   [ more ] More commands available when run from project directory

截图以下

若有问题，欢迎留言！祝各位小伙伴顺利安装！

转载：静觅 » Python爬虫进阶三之Scrapy框架安装配置