【python爬虫学习笔记】08 Scrapy爬虫框架结构及常用命令

Scrapy爬虫的5+2结构 Engine 不需要用户修改 控制所有模块之间的数据流 根据条件触发事件 Downloader 不需要用户修改 根据请求下载网页 Scheduler 不需要用户修改 对所有爬取请求进行调度管理 Downloader Middleware 用户可以编写配置代码 目的:实施Engine、Scheduler和Downloader之间进行用户可配置的控制 功能:修改、丢弃、新

>>阅读原文<<