Scrapy的数据流程及各部分作用

     Scrapy architecture（体系结构） 组件： Scrapy Engine： 引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。   调度器（Scheduler） 调度器从引擎接受 request 并将他们入队，以便之后引擎请求他们时提供给引擎。   下载器（Downloader） 下载器负责获取页面数据并提供给引擎，而后提供给Spider。   Spid

>>阅读原文<<