如何玩耍scrapy的中间件?下面教你玩

使用下载器中间件时必须激活这个中间件,方法是在settings.py文件中设置DOWNLOADER_MIDDLEWARES这个字典,格式相似以下html

DOWNLOADER_MIDDLEWARES = {
'scrapy_test.middlewares.ScrapyTestDownloaderMiddleware': 543,
}

不想深究下去的就重点记住这个吧:数字越小,越靠近引擎,数字越大越靠近下载器,因此数字越小的,processrequest()优先处理;数字越大的,process_response()优先处理scrapy

 

转载连接(详细的看这个):https://www.lagou.com/lgeduarticle/35939.htmlssr

相关文章
相关标签/搜索