基于python，scrapy，redis实现主从式（分布式的一种）master-slave爬虫

前言 这是本人的第一篇博客，感触仍是不少的，最近在帮朋友作一个分布式爬虫的论文，遇到不少坑，不过已经一一填平，废话很少说啦。html 分类 (1)主从分布式爬虫: 由一台master服务器, 来提供url的分发, 维护待抓取url的list。由多台slave服务器执行网页抓取功能， slave所抽取的新url，一概由master来处理解析，而slave之间不须要作任何通讯。 (2)对等分布式爬虫:

>>阅读原文<<