爬虫Scrapy框架详解

爬虫Scrapy框架详解 1. 概述 下图显示了 Scrapy 的大体架构，其中包含了它的主要组件及系统的数据处理流程（绿色箭头所示）。下面就来一个个解释每个组件的作用及数据的处理过程。 2. 组件 2.1 Scrapy Engine （Scrapy 引擎） Scrapy 引擎是用来控制整个系统的数据处理流程，并进行事务处理的触发。更多的详细内容可以看下面的数据处理流程。 2.2 Schedule

>>阅读原文<<