Python如何实现分布式爬虫

    通过前面的介绍，相信你们已经对Python爬虫有了初步的了解，对一些常见的网站爬虫，应该也可以轻松实现。不难发现，咱们在使用单一爬虫进行爬取数据时有明显缺陷——速度慢，当咱们须要进行大规模数据采集时，这种速度难以知足咱们的需求。此时，就须要分布式爬虫的帮助了。因为对分布式系统不作过多解释，有兴趣的朋友能够自行查阅了解，咱们将重点放在分布式爬虫上，下面是几点简单介绍：git Ⅰ. 简介  

>>阅读原文<<