爬虫技术之分布式爬虫架构

分布式爬虫架构并非一开始就出现的。而是一个逐步演化的过程。服务器 最开始入手写爬虫的时候，咱们通常在我的计算机上完成爬虫的入门和开发，而在真实的生产环境，就不能用我的计算机来运行爬虫程序了，而是将爬虫程序部署在服务器上。利用服务器不关机的特性，爬虫能够不间断的24小时运行。单机爬虫的结构以下图。架构 然而，因为爬虫在爬取数据时，爬取频次并不能太快，即便是爬虫在服务器上不间断运行，效率可能也没法知足

>>阅读原文<<