win7 下安装scrapy遇的坑

一. 安装

因为scrapy进行网络抓取的便捷与强大功能，准备在win7下安装该框架，但遇到不少麻烦。 开始时安装的是Python3.5 ，利用pip工具安装，但老是遇到各类下载不下来的问题，怀疑版本太高，scrapy的安装依赖太多其余基础库，而基础库某些可能没有最近版本，故从新安装Python2.7 安装完Python2.7后，直接执行pip install scrapy 会发生以下错误： Cannot open include file: 'libxml/xpath.h': No such file or directory 解决方法： 一、安装wheel，在cmd中输入：pip install wheel 二、下载依赖库，能够在http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml中下载　 　我下载的是lxml-3.6.0.win32-py2.7.exe，直接执行便可，也下载了其余版本，均不成功，是到这个才算能够。每一个人的版本需求可能有所差别 再次执行 pip install scrapy 便可完成安装。

二. 使用

在初步使用scrapy框架时，也出现一些问题： scrapy startproject tutorial 创建初始框架，编写好基本文件后，执行 scrapy crawl dmoz 遇到问题报错以下： no module named win32api 既然缺乏，那就添加上，链接以下 https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/ 我下载的版本为pywin32-220.win32-py2.7.exe（也是试出来的），直接执行，以前的报错即消失