Scrapy （网络爬虫框架）入门

一.Scrapy 简介： Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，Scrapy 使用了 Twisted['twɪstɪd](其主要对手是Tornado)异步网络框架来处理网络通讯，可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各种中间件接口，可以灵活的完成各种需求。 二.Scrapy框架 1.框架图 绿色线是数据流向 2.框架图讲解： 功

>>阅读原文<<