Python如何实现分布式爬虫

    经过前面的介绍，相信大家已经对Python爬虫有了初步的了解，对一些常见的网站爬虫，应该也能够轻松实现。不难发现，我们在使用单一爬虫进行爬取数据时有明显缺陷——速度慢，当我们需要进行大规模数据采集时，这种速度难以满足我们的需求。此时，就需要分布式爬虫的帮助了。由于对分布式系统不做过多解释，有兴趣的朋友可以自行查阅了解，我们将重点放在分布式爬虫上，下面是几点简单介绍： Ⅰ. 简介     一

>>阅读原文<<