Scrapy框架的核心架构与执行流程

一.Scrapy的核心架构 在学习Scrapy的过程中，时常需要添加各种功能，因此需要我们熟悉Scrapy的架构并取重写它的部分功能：   （1）Scrapy引擎（Engine）：引擎是Scrapy架构的核心，负责数据和信号在组件间的传递。   （2）调度器（Scheduler）：存储带爬取的网址，并确定网址的优先级，决定下一次爬取的网址。   （3）下载中间件（Downloader Middle

>>阅读原文<<