用python作爬虫的,确定熟悉scrapy,不过新手安装老是会遇到各类奇葩错误。python
错误一:building 'twisted.test.raiser' extensionerror: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-toolsapi
这是缺乏库文件引发的。scrapy
解决办法:下载一个软件安装就够了,连接: https://pan.baidu.com/s/1mkbVf7WBgdMRCDxrET05IQ 提取码: 384zpost
这个软件会安装全部的可能用的库文件,vc九、vc十、vc十一、vc十二、vc14,一次性解决全部。ui
舒适提示:安装后,就得从新关闭cmd窗口后,从新打开才会生效。url
错误二:ModuleNotFoundError: No module named ‘win32api’spa
这个错误是找不到模块,须要安装pywin32,前往https://www.lfd.uci.edu/~gohlke/pythonlibs/,找到对于的pywin32下载whl文件(注意对应的python版本,系统位数).net
下载后,cmd到下载文件目录执行:pip install 下载的文件名ip
最后再cmd 进入到python安装目录的scripts里面执行:python pywin32_postinstall.py -installci
这样就搞定啦。
错误三:Unknown command: crawl
这个错误应该是 执行 scrapy crawl demo 时产生的
查看本身是否是在项目根目录下执行,及scrapy.cfg所在的目录。