Scrapy架构图

      组件 engine爬虫引擎：负责控制各个组件之间的数据流，当某些操作事件被触发后，都是通过engine来处理 downloader下载器:通过爬虫引擎请求下载网络数据，并将结果响应给引擎 itempipe管道:负责处理引擎返回的spider解析后的数据，并将数据持久化，例如将数据存储为数据库或文件 spider爬虫：发出请求给引擎，并且处理引擎返回给它的下载器下载完的数据，以items

>>阅读原文<<