今天忽然想起来,学了那么久的爬虫,scrapy被忽视好久了,因此想起来去认真学习下。python
第一步安装模块就出现了问题,先是用的python2 进行pip安装。scrapy
可是报错说要什么 MICROSOFT VISUAL C++ 9.0 IS REQUIRED 。学习
这里找到一个解决方案:网站
进入错误提示给出的网址,下载安装,从新pip install scrapy 。安装成功url
打开http://aka.ms/vcpython27会跳转到spa
http://www.microsoft.com/en-us/download/confirmation.aspx?id=44266.net
将安装包下载命令行
Microsoft Visual C++ Compiler for Python 2.7blog
运行安装ip
scrapy 如今也支持python3 了,由于我安装了python3,因此就再次用pip install scrapy。
这里的报错是 MICROSOFT VISUAL C++ 14.0...(没记错应该是的)
可是给出的网址已经失效了。正好在另一篇博客找到了可行的解决方案:
进入一下的网站下载对应版本的twisted文件
下载以后将文件放入对应的python安装目录的Scripts目录下
打开命令行,进入Scripts 目录
输入:
pip install +(以前下载的文件全名)
会提示Twisted安装成功,再次尝试 pip install scrapy
没有再报错,安装成功。