使用python的爬虫框架scrapy,在windows上搭建环境时候,使用pip install scrapy 命令安装Scrapy爬虫框架时,出现了很让人头疼的错误,错误截图以下:python
在网上查找解决方法时,大体知道了问题的缘由。是由于缺乏C语言的编译环境,其中一种解决方法就是安装相对应版本的Visual Studio,可是安装VS自己就极其麻烦,因此这种方法是不推荐的。第二种方法就是下载已经编译好的安装包。windows
1. 下载.whl安装包
能够到下面这个网址中下载与python版本以及系统(32位或64位)相匹配的Twisted版本,好比我下载的就是Twisted-17.9.0-cp35-cp35m-win_amd64.whl(个人python是3.5版本的),经过该网站:http://www.lfd.uci.edu/~gohlke/pythonlibs/ 来下载所须要的版本。框架
2. 安装下载的.whl安装包
在命令行中使用如下命令:pip install C:\Users\Administrator>pip install C:\Users\Administrator\Downloads\Twisted-17.9
.0-cp36-cp36m-win_amd64.whl的命令来安装Twistedscrapy
出现以上信息,则代表已经Twisted安装成功,ide
3. 安装Scrapy
此时在命令行中使用pip install scrapy来安装Scrapy就会提示安装成功了。网站
查看版本:ui
4. 运行本身的第一个脚本:
报错信息为:.net
此时要继续第五步的操做,插件
5. windows下继续安装py32的插件:
Srapy已经安装成功,还要下载pywin32,找到对应版本下载,一路下一步安装便可。安装完成后,就能够正常使用Scrapy了。命令行
URL:https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/
选择对应版本的pywin32程序,不然版本不对容易出问题。
安装成功后,运行命令:
D:\python_code\Spider\part12\myfirstpjt\myfirstpjt>scrapy runspider --loglevel=I
NFO first.py,终于出现结束画面: