scrapy多个爬虫公用一些中间件、pipelines

使用python3 请求头headers：user-agent、代理ip，这些放在一个工程项目里，有的爬虫是需要中间件的或者根据反爬添加相应的条件，那这样的情况下怎么办？ 1.中间件处理默认带上请求头，不带启用ip代理功能 spiders文件夹下的爬虫类添加属性 中间件处理 这样不管爬虫那边有没有添加属性，middlewares里就是会默认 2.有些情况下请求头会带上cookie、referer，

>>阅读原文<<