大数据量同步方案之全量同步改成增量同步解决方案

背景描述： 　　在一些大数据运用场景中，因为上游数据天天都在变化着，在须要用这些数据的下游系统须要天天刷新这些变化的数据，当数据量小时候，简单粗暴的方式就是每次全量更新数据，但随着业务的增加，数据量成几何方式增加时（达到亿级别甚至更多），每次的更新工做将是耗时耗力的，也是业务方没法忍受的。此时，就须要一种解决方案变全量同步为增量同步。web 解决方案： 　　考虑到数据量基数虽然大，但天天变化的数据

>>阅读原文<<