scrapy middlewares process_request/response不同返回值的分析

  最近学习scrapy爬虫框架,领略到中间件的强大作用,随机设置UA、设置代理、对接selenium等,但是对于process_request以及process_response的返回值和他们的作用不是很理解,网上的解释也十分笼统,如下截屏: 今天我做了一个相关的测试,详细看看不同返回值scrapy是如何处理的。 主函数如下: process_request - 返回None 代码如下: 结果如
相关文章
相关标签/搜索