RobustCrawler爬虫架构

以“健壮性”为第一原则的爬虫框架，基于Python、RabbitMQ、Docker等开源组件为基础进行开发。·git 整个基本的架构以下（还未包含全面）：github 设计理念 整个系统架构的原理是基于RabbitMQ的生产者-消费者的模型来进行爬虫模块之间的解耦以及序列化数据的传递，依靠RabbitMQ自身的集群性、持久化、消息确认机制做为爬虫健壮性的根本基础，将整个框架部署在Docker容器内

>>阅读原文<<