爬虫总结(四)-- 分布式爬虫

分布式爬虫的演习。 分布式爬虫问题其实也就是多台机器多个 spider 对 多个 url 的同时处理问题，怎样 schedule 这些 url，怎样汇总 spider 抓取的数据。最简单粗暴的方法就是将 url 进行分片，交给不一样机器，最后对不一样机器抓取的数据进行汇总。然而这样每一个 spider 只能对本身处理的 url 去重，没办法全局的去重，另外性能也很难控制，可能有某台机器很早就跑完了

>>阅读原文<<