Python_爬虫 Scrapy 安装报错一整套处理流程

 

安装顺序

　　scrapy 须要的依赖不少。首先须要   twisted  若是没有这个 直接安装  scrapy  会报错 要求你安装一个 vis 14 仍是什么的环境，那个东西若是真的要装要 6g 

　　可是用 twisted 能够绕过，所以须要先把 twisted 装上 ，可是 twisted  的安装不支持 pip 咱们只能用下载下来本地安装 

http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

 　　twisted  的安装须要装 wheel 

pip3 install wheel 

　　要想本地安装 twisted 必需要装 pywin32 的支持才能够 

pip3 install pywin32

　　而后才能够安装 twisted 在这里会有一些其余的报错 

pip install Twisted‑18.4.0‑cp36‑cp36m‑win_amd64.whl

　　最后安装 scrapy 

pip3 install scrapy

 

 

 

报错汇总 

 

直接安装 scrapy 报错 

 　　若是会有这样的报错要求你装  Visual C++ 14.0 所以咱们须要用到 twisted 

error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools

 

 

 安装 twisted 报错 

 

　　这个报错意味着你下错包了。或者你的环境不支持你的下载包类型 

　　 

　　若是是你的python 是 win32 要用这个方式查看一下支持的类型 

>>> import pip
>>> print(pip.pep425tags.get_supported())

 　　若是是有报错说明你的不是 win32 而是 amd64 

 

　　

　　 amd64 的查看方式是

>>> import pip._internal
>>> print(pip._internal.pep425tags.get_supported())

　　因而可知确实没有 cp36，可是是支持 cp37，所以从新下载 cp37 便可 

 

 

　　这样就安装成功了

 

　　而后再安装 scrapy 就基本上没有问题了