Scrapy框架的组件和执行流程

1、Scrapy框架的核心架构 首先，要搞清楚Scrapy的架构就必须明白Scrapy中的组件以及各个组件的作用。 接下来，我们看一看Scrapy框架的组件有哪些以及它们的作用。 Scrapy引擎：引擎是Scrapy架构的核心，负责数据和信号在组件间的传递。 调度器：存储带爬取的网址，并确定网址的优先级，决定下一次爬取的网址。 下载中间件：对引擎和下载器之间的通信进行处理（如设置代理、请求头等）。

>>阅读原文<<