理解Scrapy架构图

Scrapy 使用了 Twisted['twɪstɪd](其主要对手是 Tornado)异步网络框架来处理网络通讯，可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各种中间件接口，可以灵活的完成各种需求 Scrapy Engine: 负责 Spider、ItemPipeline、Downloader、Scheduler 中间的通讯，信号、数据传递等 Scheduler(调度器): 它负责

>>阅读原文<<