抓取网站的代码实现不少,若是考虑到抓取下载大量内容scrapy框架无疑是一个很好的工具。Scrapy = Search+Pyton。下面简单列出安装过程。PS:必定要按照Python的版本下载,要否则安装的时候会提醒找不到Python。建议你们安装32位是由于有些版本的必备软件64位很差找。(个人是xp系统)python
1.安装Pythonapi
安装完了记得配置环境,将python目录和python目录下的Scripts目录添加到系统环境变量的Path里。在cmd中输入python若是出现版本信息说明配置完毕(以下面截图)。python下载地址。网络
2.安装lxml框架
lxml是一种使用 Python 编写的库,能够迅速、灵活地处理 XML。点击 这里选择对应的Python版本安装。验证是否安装成功,以下图。能够使用第三步下载的setuptools来安装egg文件,如今也有exe版本,点击这里下载。python2.7
5.安装Twistedscrapy
Twisted是用Python实现的基于事件驱动的网络引擎框架,点击这里下载。工具
6.安装pyOpenSSL网站
pyOpenSSL是Python的OpenSSL接口,点击 这里下载。8.安装Scrapy.net
终于轮到安装scrapy了,直接在cmd中输入easy_install scrapy回车便可。安装后在cmd命令行进行成功与否的验证如图所示。命令行
安装完成,开始使用吧!