本文分为两个部分,前大半部分说的都是Windows下手动安装Scrapy,文末给初学编程的童鞋或者不想这么手工安装的童鞋推荐了Scrapy中文网,直接使用其推荐的Anaconda安装Scrapy便可啦!html
Scrapy依赖的库比较多,在安装以前,你须要确保如下库已经安装:wheel、lxml、pyOpenSSL、Twisted、pywin32,若是没有,先装完,再装Scrapy。python
pip安装当然方便,但有时候会遇到安装失败的问题。wheel和egg都是打包的格式,支持不须要编译或制做的安装过程。wheel如今被认为是Python标准的二进制打包格式。git
pip install wheelgithub
注意:若是你是刚刚安装过python而且从没有安装过wheel,你能够直接运行上述命令。但若是你的pip版本不够新,你须要在执行install命令以前更新一下pip,在命令行中输入:python -m pip install --upgrade pip更新pip,再输入安装命令便可。编程
python的一个解析库,支持HTML和XML的解析,支持XPath解析方式,并且解析效率很是高。服务器
pip install lxml网络
python自己不提供interface的实现,须要经过第三方扩展库来使用相似interface的功能,通常都是zope.interface。框架
注意:不安装zope.interface可能会出现pyOpenSSL安装失败。scrapy
一、进入网址工具
[https://pypi.org/project/zope.interface/#files]:
下载最新版本.whl文件(cp后跟着的是对应的python版本号),个人python是3.7.2版本,所以下载zope.interface-4.6.0-cp37-cp37m-win_amd64.whl
二、下载完成后拷贝文件到python安装目录下(或者cd命令进入。whl文件所在路径皆可),执行安装命令。
pip install zope.interface-4.6.0-cp37-cp37m-win_amd64.whl
让python支持SSL通讯协议,简单来讲就是加密解密等这系列操做。
一、进入网址
[https://pypi.org/project/pyOpenSSL/#files]:
下载最新版本.whl文件,好比我下载的是pyOpenSSL-18.0.0-py2.py3-none-any.whl
二、下载完成后拷贝文件到python安装目录下(或者cd命令进入。whl文件所在路径皆可),执行安装命令。
pip install pyOpenSSL-18.0.0-py2.py3-none-any.whl
此处摘自网络
[http://www.javashuo.com/article/p-rwdamfyd-ex.html]:
:Twisted是用Python实现的基于事件驱动的网络引擎框架,Twisted支持许多常见的传输及应用层协议,包括TCP、UDP、SSL/TLS、HTTP、IMAP、SSH、IRC以及FTP。就像Python同样,Twisted也具备“内置电池”(batteries-included)的特色。Twisted对于其支持的全部协议都带有客户端和服务器实现,同时附带有基于命令行的工具,使得配置和部署产品级的Twisted应用变得很是方便。
一、进入网址
[https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted]:
下载最新版本.whl文件,好比我下载的是Twisted-18.9.0-cp37-cp37m-win_amd64.whl
二、下载完成后拷贝文件到python安装目录下(或者cd命令进入。whl文件所在路径皆可),执行安装命令。
pip install Twisted-18.9.0-cp37-cp37m-win_amd64.whl
python不自带访问Windows API的库,须要下载这个库作支持。
一、进入网址(pywin32从Build 222开始把全部的下载放在了github上面,python3.7版本的就从这里下载)
[https://github.com/mhammond/pywin32/releases]:
二、下载pywin32-224.win-amd64-py3.7.exe
双击运行不须要解释,安心系咯。(我是没出现not found in the registry等等问题...咳咳...)
你能够进入地址
[https://www.lfd.uci.edu/~gohlke/pythonlibs/#Scrapy]:
去下载Scrapy,而后用前面安装.whl文件的方式安装。
命令:pip install scrapy
搞定收工!YOHO~
其实,你还能够登陆Scrapy中文网,使用Anaconda进行安装,这个方式可能更适合初学编程的童鞋。地址以下:
[http://www.scrapyd.cn/doc/124.html]:
表打我... 咳咳...
命令行:pip list
列表中出现了Scrapy,安装成功。
命令行:scrapy
正确执行命令,安装成功。