python3 scrapy_redis 分布式爬取房天下存mongodb

（一）scrapy_redis 简单介绍 scrapy_redis基于scrapy框架的基础上集成了redis，经过了redis实现了去重，多台服务器进行分布式的爬取数据。css （二）scrapy_redis 简单配置 （1）settings.py 文件中加入两行代码：html #启用Redis调度存储请求队列 SCHEDULER = "scrapy_redis.scheduler.Schedu

>>阅读原文<<