Scrapy框架原理及部件组成

1、Scrapy Engine（Scrapy引擎） Scrapy引擎是用来控制整个系统的数据处理流程，并进行事务处理的触发。更多的详细内容可以看下面的数据处理流程。 2、Scheduler（调度） 调度程序从Scrapy引擎接受请求并排序列入队列，并在Scrapy引擎发出请求后返还给他们。 3、Downloader（下载器） 下载器的主要职责是抓取网页并将网页内容返还给蜘蛛( Spiders)。

>>阅读原文<<