Python爬虫（一）：Scrapy架构流程介绍

Scrapy是什么？ Scrapy是一套基于Twisted的移步处理框架，是纯python实现的爬虫框架，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容或者各种图片。 Scrapy架构图(绿线为数据流) Scrapy Engine(引擎)：其本身什么事都不做，就只号发指令，完成通信的功能，指派四个组件完成相关操作。 Scheduler(调度器)：负责接收 Scrapy Eng

>>阅读原文<<