Scrapy爬虫数据架构图

Scrapy是基于用Python写的一个流行的事件驱动网络框架Twisted编写的。因此，它使用非阻塞(即异步)代码实现并发。 旧版Scrapy架构图 : 新版Scrapy架构图 : Scrapy中的数据流由执行引擎控制，如下所示: Engine获得从爬行器中爬行的初始请求。 Engine在调度程序中调度请求，并请求下一次抓取请求。 调度程序将下一个请求返回到引擎。 引擎将请求发送到下载器，通过下

>>阅读原文<<