基于canal的实时数据同步架构

技术背景 数据同步作为数仓建设和数据分析的基础环节，其重要性不言而喻。目前业界最常用的做法是离线按天备份，通过批处理的方式直连业务库，将数据全量导入到数仓。这种方式简单直接，不会担心数据丢失等问题。然而因为是离线操作，每一次导入都是对过去一天的数据镜像，对于实时应用场景，无法及时同步新增数据，而且频繁的读取业务库很容易对业务库造成压力。对于我们的特殊场景：从阿里云跨云同步到AWS，这种大批量的数据

>>阅读原文<<