scrapy-redis实现scrapy分布式爬取分析

（1）在“http://www.zhihu.com/question/20899988”中，提到的： “那么，假设你如今有100台机器能够用，怎么用python实现一个分布式的爬取算法呢？ 咱们把这100台中的99台运算能力较小的机器叫做slave，另一台较大的机器叫做master，那么回顾上面代码中的url_queue，若是咱们能把这个queue放到这台master机器上，全部的slave均可以

>>阅读原文<<