python安装scrapy/Twisted碰见的坑

入门python，一直听闻有一款很是出门的爬虫框架scrapy，很是想尝试一下，因而经过pip install安装，无奈各类报错（的确是各类报错！！），由于scrapy主要依赖的几个库并不支持python3.x。最后通过我不懈的努力，终于经过各类途径在win10 64位 python3.6的环境下成功安装scrapy。固然，若是经不起折腾经过python2.7安装是最简单的，在这里请容许我吐槽一下python的版本兼容性，已经被不止坑了一次了！下面大概介绍碰见的几个大坑，及解决方法：

1. lxml等包安装报错，这些能够经过去pip官网下载whl而后本地安装就能够解决，网上的讨论不少也颇有效就很少提
2. twisted安装异常，这个是最坑的，我尝试了好久才解决。首先，twisted不支持python3.x，因此经过官方途径下载的包能够歇了。我找了一些攻略，终于活捉到改版后的野生twisted，连接https://pan.baidu.com/s/1sle2CmL?errno=0&errmsg=Auth%20Login%20Sucess&&bduss=&ssnerror=0&traceid=#list/path=%2FPython%2Ftwisted-for-python3&parentPath=%2FPython 

        按照本身系统版本下载安装，安装完成后能够经过命令行测试一下(若是连接失效，请留言)

    

python
>>> import twisted

没有报异常应该就是成功

而后就能够快乐得使用pip install scrapy 来安装，若是你看见Successfully，那么就能够恭喜你别高兴得太早了

scrapy框架会提供一个shell供开发者测试，咱们能够拿来实验一下安装成果

scrapy shell

若是执行命令行后没有异常，那就才是Successfully

不过遗憾的是，又又又又报异常

ModuleNotFoundError: No module named 'win32api'

你一个爬虫框架到底要依赖多少个库啊😭

嗯，不过这个好解决

pip install pypiwin32

安心等吧，下载速度仍是挺慢的，至少在它下载的过程当中，我就把这个博文写了...( ＿ ＿)ノ｜

再次调用

scrapy shell

大功告成！！！！！！！！！！

撒花~~~~