DataX 数据全量,增量同步方案

关于DataX 增量更新实现 注:参考来源文章 增量更新总体思路:从目标数据库读取一个最大值的记录,可以是DataTime 或者 RowVersion 类型,然后根据这个最大值对源数据库要同步的表进行过滤,然后再进行同步即可。 由于DataX 支持多种数据库的读写,一种相对简单并且可靠的思路就是: 从csv 文件读取目标数据库上次抽取数据的一个最大值; 动态修改json配置文件(增加过滤条件);
相关文章
相关标签/搜索