众推平台架构——分布式爬虫

分布式爬虫架构 经过新一轮的投票，项目的范围已经基本确定。 大家决定 全力以付，集中攻克“分布式爬虫”。 分布式爬虫架构1 使用队列，即生产者，消费都模式。 由于生产者将规则生成到队列，然后由爬虫集群（消费者）到队列中取规则，然后按优先级等规则进行爬取。 分布式爬虫架构2 类似于webmagic，webmagic的是一个无须配置、便于二次开发的爬虫框架，它提供简单灵活的API，只需少量代码即可实现

>>阅读原文<<