这几天,不少朋友在群里问Scrapy安装的问题,其实问题方面都差很少,今天小编给你们整理一下Scrapy的安装教程,但愿往后其余的小伙伴在安装的时候再也不魂飞魄散,具体的教程以下。python
Scrapy是Python网络爬虫的一个框架,十分好用,深得你们的青睐,其工做原理,在在此就不赘述了。网络
一、正常咱们在Python库的时候,只须要利用cmd命令打开命令行窗口,而后输入pip install 库,就能够正常安装了,可是在安装Scrapy的时候,输入pip install scrapy以后每每会碰到下图的问题。框架
二、这个问题的出现,是由于咱们缺少libxml2安装包。如今只要咱们安装这个包以后,就能够顺利安装scrapy了。给你们安利一个福利,介绍给你们一个很是实用的Python包网站,这个网站很神奇,里边的Python包专门用于Windows下的安装的,以下图所示。scrapy
三、以后在该网站上查找lxml,也能够输入Ctrl+f进行查找,找到以后以下图所示。学习
四、点击“lxml”,找到lxml安装包,以下图所示。找到对应本身Python版本的lxml安装包,小编的电脑是64位的,并且Python版本是Python3.4,因此找到下图红色框框的安装包,点击便可进行下载。同理,其余的Python3.五、Python3.六、Python3.7的安装包根据本身的状况一一对应便可。网站
五、而后去下载的目录,将lxml进行安装便可,输入安装命令pip install lxml-4.2.1-cp34-cp34m-win_amd64.whl便可。ui
六、lxml-4.2.1-cp34-cp34m-win_amd64.whl环境安装完成以后,再从新输入pip install scrapy便可顺利安装了,不会再报错了,以下图所示。this
七、输入pip list能够查看已经安装的scrapy包,以下图所示。命令行
八、以后咱们就能够正常使用scrapy了,能够建立scrapy项目等等。3d
九、还有一些小伙伴遇到的问题是这个:
raise distutils.errors.DistutilsPlatformError(err)
distutils.errors.DistutilsPlatformError: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": Download the Visual C++ Build Tools (standalone C++ compiler, libraries and tools)
----------------------------------------
Command "python setup.py egg_info" failed with error code 1
这个是由于本机缺少visual C++的安装环境,此时只须要进入landinghub.visualstudio.com/visual-cpp-…这个网站,下载对应电脑版本的visual C++环境,进行安装以后便可解决问题。
这个安装包比较大,等scrapy安装好以后再删除便可。
十、还有的小伙伴可能会遇到下面的错误提示“Twisted-18.7.0-cp34-cp34m-win_amd64.whl is not a supported wheel on this platform.”,表示该平台不支持这个安装包,以下图所示。
以前的lxml安装包不是直接安装就成功了吗?为什么这个安装包会出现这个问题呢?此时,首先须要检查该安装包的Python版本和电脑位数是否和本机都对应上,若是确认没有问题,再继续往下看。
在这里小编给你们介绍一个小技巧,专门用来应对这样的问题的。进入到所下载的安装包,这里以Twisted-18.7.0-cp34-cp34m-win_amd64.whl安装包为例,进入到下载目录下,通常下载以后将其放到虚拟环境的site-packages文件夹下面,尔后将后缀.whl更改成.zip,将后缀.whl更改成.zip,将后缀.whl更改成.zip,重要的事情说三遍,有木有以为很熟悉?对,它就是个压缩文件,如今将压缩包里边的内容所有解压到当前文件夹,以下图所示。
以后在虚拟环境下输入pip list命令查看安装包,能够看到Twisted安装包已经在里边了,以下图所示。第一个pip list命令的时候还没有解压Twisted安装包,此时并无Twisted库;第二个pip list命令是在Twisted安装包解压以后执行的,能够看到Twisted库已经在里边了。
Twisted库安装好以后,再安装其余的库,如Scrapy、Pandas等就如鱼得水了。
这里列出了几个Scrapy安装过程当中常见的问题及其解决方法,但愿对你们往后安装Scrapy的时候有所帮助,可能每一个人的平台和环境都不太同样,确定会碰到其余的安装问题,欢迎你们一块儿学习交流~~