Redis-Scrapy分布式爬虫

Scrapy-Redis分布式策略： Scrapy_redis在scrapy的基础上实现了更多，更强大的功能，具体体现在： reqeust去重，爬虫持久化，和轻松实现分布式   假设有四台电脑：Windows 10、Mac OS X、Ubuntu 16.04、CentOS 7.2，任意一台电脑都可以作为 Master端 或 Slaver端，比如： Master端(核心服务器) ：使用 Window

>>阅读原文<<