爬虫（二）

scrapy

一.什么是Scrapy？

　　Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，很是出名，很是强悍。所谓的框架就是一个已经被集成了各类功能（高性能异步下载，队列，分布式，解析，持久化等）的具备很强通用性的项目模板。对于框架的学习，重点是要学习其框架的特性、各个功能的用法便可。

二.安装

　　Linux：

      pip3 install scrapy

 

　　Windows：

      a. pip3 install wheel

      b. 下载twisted http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

      c. 进入下载目录，执行 pip3 install Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl

      d. pip3 install pywin32

      e. pip3 install scrapy

windows下具体安装步骤：

一、