scrapy+redis实现url去重和断续重连（增量爬取）

自定义过滤器： import hashlib from redis import StrictRedis from scrapy.dupefilters import RFPDupeFilter import os import redis from w3lib.url import canonicalize_url class URLRedisFilter(RFPDupeFilter):

>>阅读原文<<