Scrapy框架的核心架构和执行流程

一：Scrapy框架的核心架构   首先，要搞清楚Scrapy的架构就必须明白Scrapy中的组件以及各个组件的作用。接下来，我们看一看Scrapy框架的组件有哪些以及它们的作用。   （1）Scrapy引擎：引擎是Scrapy架构的核心，负责数据和信号在组件间的传递。   （2）调度器：存储带爬取的网址，并确定网址的优先级，决定下一次爬取的网址。   （3）下载中间件：对引擎和下载器之间的通信进

>>阅读原文<<