在windows下如何新建爬虫虚拟环境和进行scrapy安装

Scrapy是Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy吸引人的地方在于它是一个框架，任何人均可以根据需求方便的修改。Scrapy用途普遍，能够用于数据挖掘、监测和自动化测试。

一、关于虚拟环境的建立能够参考以前发布的两篇博文，在Windows下如何建立指定的虚拟环境和在Windows下如何建立虚拟环境（默认状况下）。下面在指定的文件夹下，直接先建立环境，在命令行输入环境建立命令“virtualenv --python=C:Python34python.exe scrapy_demo”，指定Python的版本和路径，以及虚拟环境的名字scrapy_demo，其中虚拟环境能够本身进行修改，这里命名为scrapy_demo。

二、尔后进入到scrapy_demo文件夹下，找到Scripts文件夹，输入activate.bat以激活虚拟环境，步骤以下图所示。以后能够看到scrapy_demo被括号括起来了，说明进入了环境，在命令行中输入python，能够看到直接弹出Python3的环境。

三、新建完虚拟环境以后，接下来就开始安装Scrapy，输入安装命令“pip install Scrapy”或者“pip install -i https://pypi.douban.com/simple/ Scrapy”，后面这个命令是经过豆瓣源镜像进行下载，速度会快不少，并且较为稳定，建议使用该方法进行安装，Python中的其余库也建议用该命令进行安装，十分的方便快捷。输入命令以后，等待Scrapy的安装，以下图所示。

四、能够看到Scrapy的安装速度很是快，由于咱们使用了镜像进行下载。不过稍等片刻以后可能会碰到timeout的问题，这是因为Scrapy安装的过程当中须要不少依赖包，致使下载过程当中会遇到网络延时的问题，此时只须要从新输入安装命令进行安装便可。除了timeout的问题以外，可能还会碰到下图这个问题。

五、这个问题的出现是由于缺少Twisted依赖包，此时经过“pip install twisted”可能有问题，这里给你们介绍一个很是实用的Python包网站https://www.lfd.uci.edu/~gohlke/pythonlibs/，里边的Python包专门用于Windows下的安装的。在网页中找到Twisted安装包，而后选择本机Python对应版本和电脑系统位数的安装包，小编的电脑是64位的，并且Python版本是Python3.4，因此下载的包以下图红色框框所示。

六、下载完成以后，直接进入到下载的目录，由此进入命令行窗口，输入安装命令“pip install Twisted-18.7.0-cp34-cp34m-win_amd64.whl”，通常是能够安装上的，可是有时候会出现下面的错误提示“Twisted-18.7.0-cp34-cp34m-win_amd64.whl is not a supported wheel on this platform.”，表示该平台不支持这个安装包，以下图所示。

七、此时不用慌，在这里小编给你们介绍一个小技巧，专门用来应对这样的问题的。进入到Twisted-18.7.0-cp34-cp34m-win_amd64.whl安装包目录下，通常下载以后将其放到虚拟环境的site-packages文件夹下面，尔后将后缀.whl更改成.zip，有木有以为很熟悉？对，它就是个压缩文件，如今将压缩包里边的内容所有解压到当前文件夹，以下图所示。

八、以后在虚拟环境下输入pip list命令查看安装包，能够看到Twisted安装包已经在里边了，以下图所示。第一个pip list命令的时候还没有解压Twisted安装包，此时并无Twisted库；第二个pip list命令是在Twisted安装包解压以后执行的，能够看到Twisted库已经在里边了。

九、尔后咱们再次输入Scrapy的安装命令，“pip install -i https://pypi.douban.com/simple/Scrapy”，等待安装完成，此时能够看到没有任何的报错了。

十、最后经过pip list查看Scrapy是否安装成功，能够看到Scrapy已经在list以内了，以下图所示。

至此，Scrapy的安装已经顺利完成。文中记录的部分bug解决方法是不少小伙伴们都会遇到的问题，但愿你们往后在安装Scrapy的时候有章可循。最后，祝你们安装Scrapy一切顺利~~