Python--Scrapy框架介绍

Scrapy框架概述 　　图表展现了Scrapy的架构，包括组件及在系统中发生的数据流的概览(绿色箭头所示)。 下面对每个组件都做了简单介绍，并给出了详细内容的链接。数据流如下所描述。   Scrapy Engine 引擎负责与其他模块进行通信，控制数据流在系统所有组件上的流动。 调度器(Scheduler) 用来接收引擎发送过来的request，并压入队列中，并在引擎再次请求的时候返回一个URL

>>阅读原文<<