scrapy框架的整体架构和组成

框架的基本解读 图中绿色的是数据的流向 我们看到图里有这么几个东西，分别是 Spiders：爬虫，定义了爬取的逻辑和网页内容的解析规则，主要负责解析响应并生成结果和新的请求 Engine：引擎，处理整个系统的数据流处理，出发事物，框架的核心。 Scheduler：调度器，接受引擎发过来的请求，并将其加入队列中，在引擎再次请求时将请求提供给引擎 Downloader：下载器，下载网页内容，并将下载内

>>阅读原文<<