scrapy运行流程解析

首先要明白这些英文单词的含义： Scrapy Engine 引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。 详细内容查看下面的数据流(Data Flow)部分。 调度器(Scheduler) 调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。（其实就是存储request请求的队列） 下载器(Downloader) 下载器负责获取页面数据并提供给引

>>阅读原文<<