[爬虫架构] 如何设计一个分布式爬虫架构

前言：     在大型爬虫项目中，使用分布式架构是提升爬取效率的惟一途径。设计一个合理的分布式架构对项目、对我的都有很大的好处，接下来讲说分布式架构应该具备的特性：html 分布式。这是最基本也是最核心的特性，分布式将容许咱们经过横向扩展主机资源来提升爬取效率。 易扩展、易部署。当咱们想要增长要爬取的网站时，只须要专一于爬取规则、解析规则、入库规则部分的代码编写就ok，其余的如日志、异常处理则让底

>>阅读原文<<