Bloom Filter替换Scrapy-Redis集合去重

Bloom Filter替换Scrapy-Redis集合去重 Scrapy-Redis源码解析传送门 Scrapy-Redis在dupefilter.py文件中主要使用Redis集合来保存Request的指纹，提供重复过滤。web dupefilter.py文件修改 修改其中的request_seen()方法。redis def request_seen(self, request):

>>阅读原文<<