在scrapy中，不过滤重复的请求

Scrapy提供了一个内置的重复请求过滤器，用于根据网址过滤重复的请求。能够根据业务需求制定规则过滤重复的请求html 基于url过滤重复的请求 假设已访问过python http:://www.abc.com/p/xyz.html?id=1234&refer=4567 我想作的是过滤请求，如：web http:://www.abc.com/p/xyz.html?id=1234&refer=567

>>阅读原文<<