scrapy架构设计分析

scrapy是一个Python爬虫框架。我们自己用requests也能写爬虫（GET某个URL，然后Parse网页的内容），那么，问题来了，scrapy高明在哪些地方呢？下面就来讨论下这个话题，看看业界通用的爬虫是怎么设计的。 从[1]可得scrapy架构图。它由5个核心模块组成。   5个模块功能 (1) 最重要的模块是Engine：它是数据流的指挥官，负责控制数据流（控制各个模块之间的通信）；

>>阅读原文<<