Scrapy架构简述

瞅一眼官方文档给出的架构图，此图中包含了Scrapy框架的基本组件构成以及数据流的走向。 第一眼看过去，有点蒙逼是正常的，接着往下看看就会会理解了。 先了解了解每个组件是做什么的： Spiders(爬虫类): Spiders是开发者自定义的一个类，用于解析相应并提取item或下个爬取的URL Scrapy Engine(引擎): Engine负责控制数据流在系统中的流动走向，并在指定条件下触发一些

>>阅读原文<<