Python爬虫之Ssrapy架构了解

下面是Scrapy架构图，包括组件以及在系统中发生的数据流的概览。 组件 Scrapy Engine 引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。 调度器Scheduler 调度器从引擎接受request并将它们入队，以便之后引擎请求他们时提供给引擎。 下载器Downloader 下载器负责获取页面数据并提供给引擎，而后提供给spider。 Spiders Spider是

>>阅读原文<<