解析mysql binlog

目前有个功能须要将mysql中的数据同步到数仓(hdfs,kudu或者其余存储)中去,若是离线的方式能够考虑sqoop,spark,缺点就是延时比较高,可能一个小时,或者一天;数据一致性很可贵到保证,mysql中的数据常常会变(固然你能够设置一个周期,例如按天同步的话,每次同步都同步过去一个月或者更长周期的数据)java 如今的需求是须要数仓和mysql中的数据保持在秒级别的一致;目前的思路就是实
相关文章
相关标签/搜索