【scrapy学习】-----架构

scrapy架构以及组件在系统中的数据流 架构结构图 组件 ENGINE：负责控制数据流在系统中所有组件中流动，并在相关动作发生时触发事件。 SCHEDULER（调度器）：从引擎接受request并将它们入队，以便之后引擎请求它们时提供给引擎。 DOWNLOADER（下载器）：负责获取页面数据并提供给引擎，而后提供给spider。 SPIDERS（爬虫）：用于分析response并提供item（即

>>阅读原文<<