(六)Scrapy的抓取流程——Downloader

当通过Scheduler取出一条request之后,engine就会调用_download方法进行对这条request的下载。 图中downloader的fetch方法就是下载器对request的操作方法。 通过DownloaderMiddlewareManager在download方法中定义了process_request, process_response, process_exception
相关文章
相关标签/搜索