Scrapy框架解析

Engine (1) 控制所有模块之间的数据流 (2)根据条件触发事件 不需要用户修改 Downloader 根据请求下载网页 不需要用户修改 Scheduler 对所有爬取请求进行调度管理 不需要用户修改 Downloader Middleware 目的：事实Engine、Scheduler和Downloader之间进行用户可配置的控制 功能：修改、丢弃、新增请求或响应 用户可以编写配置编码 S

>>阅读原文<<