Scrapy爬虫不同的Request请求,选择不同的中间件进行过滤。scrapy指定某一个请求使用selenium模拟加载。

问题描述:Scrapy爬虫里,不同的Request请求,根据需求来选择不同的中间件进行过滤。 举例:scrapy爬虫时,有些请求需要借助selenium,但是其他请求不需要用selenium,那如何让某一个单独的请求使用selenium这个中间件? 解决方法:简单讲,用好meta这个参数进行传参。 第一步:先准备好一个selenium中间件 第二步:全局开启selenium中间件 第三步:爬虫文件
相关文章
相关标签/搜索