RobustCrawler爬虫架构

以“健壮性”为第一原则的爬虫框架，基于Python、RabbitMQ、Docker等开源组件为基础进行开发。· 整个基本的架构如下（还未包含全面）： 设计理念 整个系统架构的原理是基于RabbitMQ的生产者-消费者的模型来进行爬虫模块之间的解耦以及序列化数据的传递，依靠RabbitMQ自身的集群性、持久化、消息确认机制作为爬虫健壮性的根本基础，将整个框架部署在Docker容器内，也是考虑到使用D

>>阅读原文<<