数据仓库实时数据同步方案

SyncNavigator是一款功能强大的数据库同步软件，适用于SQL SERVER, MySQL，具有自动/定时同步数据、无人值守、故障自动恢复、同构/异构数据库同步、断点续传和增量同步等功能，支持Windows xp以上所有操作系统，适用于大容量数据库快速同步。

安装包下载地址：https://www.syncnavigator.cn/Setup.zip

帮助文档地址：https://www.syncnavigator.cn/Help_zh-CN.chm

Web文档地址：https://www.syncnavigator.cn/chm/index.htm

将postgresql中的数据实时同步到kafka中

http://www.javashuo.com/article/p-mqktxtle-dh.html

 

黄海的思路：

（1）看看其它人的概念：https://blog.csdn.net/dora_310/article/details/80511793

 

有的地区方案中也写了3秒之类的概念，就是说，这种数据同步，其实并没有我想像的那个实时，还是有一定的延迟的，再比如，我一次性插入了10W条数据，就算了一次性实时传递给客户端系统，它能不能一下子写进去还是一个重要问题，实时不管怎么说都是需要一定时长的，在给出的时候可以有3秒的时延，这对于我们来说足够了，因为我们的系统只需要把最新时间戳变更的数据提供即可。考虑到OLTP和OLAP的区别，这个数据同步的提供者是谁呢？

初步考虑用的是GreenPlum来提供，使用 Golang+GreenPlum