分布式爬虫原理（转）

转自：http://www.javashuo.com/article/p-ecezuiyy-ky.htmlhtml 咱们在前面已经实现了Scrapy微博爬虫，虽然爬虫是异步加多线程的，可是咱们只能在一台主机上运行，因此爬取效率仍是有限的，分布式爬虫则是将多台主机组合起来，共同完成一个爬取任务，这将大大提升爬取的效率。数据库 1、分布式爬虫架构 在了解分布式爬虫架构以前，首先回顾一下Scrapy的架

>>阅读原文<<