【系列】scrapy启动流程源码分析(6)Downloader下载器

6.Downloader下载器 Downloader包含了从调度器调取url以后到scraper获取返回的网页内容以前的全部步骤，关系到网页如何下载，网络通讯/HTTP协议/服务器等一系列知识，是最复杂的一部份内容。python Downloader初始化 在以前Crawler.crawl()建立ExecutionEngine执行引擎的时候，就已经初始化了Downloader对象。此对象在配置中定

>>阅读原文<<