maxwell解析MySQL日志及应用

大概在2年前，咱们的数据库愈来愈大，天天经过Sqoop彻底同步数据库到HIVE的方式时间明显拉长，当时考虑使用canal来解析日志，而后经过impala+kudu作增量更新，这样不只解决了数据同步问题，还能实时，并且还能作消息中心，可是这个项目并无作完。 如今的maxwell由于解析日志成json格式，在处理方面更加方便一点，所以有想来开发一个maxwell版的增量同步。前端 增量同步实际上没有太

>>阅读原文<<