Python爬虫：scrapy 的运行流程和各模块的做用

Python爬虫：scrapy 的运行流程和各模块的做用 scrapy的运行流程 爬虫 -> 起始URL封装Request -> 爬虫中间件 -> 引擎 -> 调度器(Scheduler): 缓存请求, 请求去重 调度器 -> 请求 -> 引擎 -> 通过下载器中间件 -> 下载器(发送请求, 获取响应数据, 封装Response) 下载器 - Response(响应) -> 通过下载器中间件 -

>>阅读原文<<