Python爬虫 scrapy框架 原理，scrapy开发流程

Scrapy Engine 引擎 处理整个系统，是各个模块之间的联系人，各个模块的数据均须要引擎来发送和收回 Scheduler 调度器 a.接收请求，压入队列 b.引擎再次请求时返回请求 Downloader 下载器 接收请求request，返回响应response Spider 爬虫 a.发起起始的请求 start_url b.定义如何爬取下一个网站 call_back Item Pipeli

>>阅读原文<<