【Python爬虫】 轻松几步 将 一个 scrapy项目 变成 scrapy_redis 分布式爬取

    分布式爬虫: 通常用于 爬取数量巨大 , 短期快速爬取html     将一个正常的scrapy项目改为 scrapy_redis 分布式爬取 只需 几步简单的添加配置便可 :redis setting.py  文件中 的参数配置: 添加:数据库 # 使用的是scrapy_redis的去重类windows DUPEFILTER_CLASS = "scrapy_redis.dupefilte

>>阅读原文<<