Scrapy爬虫改成Scrapy-Redis增量式爬虫

如何把一个Scrapy项目改形成Scrapy-Redis增量式爬虫 前提: 安装Scrapy-Redisweb 1.原有的爬虫代码不用改动，启动方式和scrapy同样 2 在setting配置文件中添加以下配置 1. 增长了一个去重容器类的配置, 做用使用Redis的set集合来存储请求的指纹数据, 从而实现请求去重的持久化 DUPEFILTER_CLASS = “scrapy_redis.dup

>>阅读原文<<