Python3网络爬虫(五)：Python3安装Scrapy

1、Scrapy简介

    Scrapy是一个为了爬取网站数据提取结构性数据而编写的应用框架，能够应用于数据挖掘，信息处理或存储历史数据等一些列的程序中。Scrapy最初就是为了网络爬取而设计的。如今，Scrapy已经推出了曾承诺过的Python3.x版本。

    为何学习Scrapy呢？它能咱们更好的完成爬虫任务，本身写Python爬虫程序比如孤军奋战，而使用了Scrapy就比如手底下有了千军万马。Scrapy能够起到事半功倍(甚至好几倍*.*)的效果。因此，学习Scrapy也就显得颇有必要了。

2、Scrapy安装

    1.直接使用指令pip3 install scrapy，发现有诸多错误。

• Failed building wheel for lxml
• Microsoft Visual C++ 10.0 is required
• Failed building twisted
• Unable to find vcvarsall.bat

    遇到的错误，以下图所示：

2.解决办法

    在http://www.lfd.uci.edu/~gohlke/pythonlibs/有不少用于windows的编译好的Python第三方库，咱们下载好对应本身Python版本的库便可。

    (1)在cmd中输入指令python，查看python的版本，以下：

    从上图能够看出能够看出个人Python版本为Python3.5.2-64bit。

    (2)登录http://www.lfd.uci.edu/~gohlke/pythonlibs/，Ctrl+F搜索Lxml、Twisted、Scrapy，下载对应的版本，例如：lxml-3.7.3-cp35-cp35m-win_adm64.whl，表示lxml的版本为3.7.3，对应的python版本为3.5-64bit。我下载的版本以下图所示：

    (3)在cmd中输入DOS指令，进入下载好的whl文件夹下，例如个人三个whl文件放在了Scrapy文件夹下：

    (4)依次执行以下命令：

a.pip3 install wheel

b.pip3 install lxml-3.7.3-cp35-cp35m-win_amd64.whl

c.pip3 install Twisted-17.1.0-cp35-cp35m-win_amd64.whl

d.pip3 install Scrapy-1.3.2-py2.py3-none-any.whl

    这样Scrapy的安装就完成了，请忽略最后两行让我升级pip的信息。*.*

    (5)Srapy已经安装成功，还要下载pywin32，找到对应版本下载，一路下一步安装便可。安装完成后，就能够正常使用Scrapy了。

    URL：https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/

    至此，大功告成，咱们能够愉快的使用Scrapy了。