Scrapy学习笔记-体系结构

下图概述了Scrapy体系结构及其组件，并概述了系统内部发生的数据流（由红色箭头显示）。 下面包括对这些组件的简要说明，以及有关它们的更多详细信息的链接。 Scrapy中的数据流由执行引擎控制，也就是图中菱形的框，如下所示： 引擎会从爬虫组件获取初始请求以进行爬网。 引擎在调度程序中调度请求，并请求下一个要爬网的请求。 调度程序将下一个请求返回给引擎。 引擎通过下载器中间件将请求发送到下载器（请参

>>阅读原文<<