数据同步程序,利用数据库事务机制

产生的缘由:

　　咱们天天定时会在几点将new表数据同步到old表. 原先数据量不大.因此同步很快. 最近这两年每次须要同步100w条以上. 单次同步须要用10多分钟

 

处理方法:

　　数据产生的地方. 就从new表数据copy一份到old表.  这样将数据移动的高峰给分割开了. 

　　事务机制: 若是未完成, 程序挂了,再次启动之后须要从新同步. 若是完成了即便程序从新启动也不会再次copy. 

 

流程图: 

好处

　　1. 数据量分割, 因此即便数据量增加也不会有影响. 

　　2. 表配置动态化. 程序里面不用写死固定哪些表. 而是采用配置文件进行配置. 

 

源码

　　https://files.cnblogs.com/files/blog-east/DataSync.rar