Kafka MirrorMaker 跨集群同步工具

1、MirrorMaker介绍

MirrorMaker是Kafka附带的一个用于在Kafka集群之间制做镜像数据的工具。该工具从源集群中消费并生产到目标群集。这种镜像的常见用例是在另外一个数据中心提供副本。

 

图1. MirrorMaker

对于迁移的topic而言，topic名字同样， partition数量能够不同，消息的offset会不同。

2、注意事项

1）whitelist和blacklist支持正则表达式。好比须要包含两个topic能够这样写，--whitelist 'A|B' or --whitelist 'A,B' ，或者想迁移全部topic能够这样写 --whitelist '*'

2）注意在迁移以前建立好相关topic以及规划好partition数量。

3）老版本和新版本迁移主要考虑consumer和producer的兼容性

4）若是容许的话，建议将MirrorMaker部署在目标集群内，这是由于若是一旦发生网络分区，消费者与源集群断开链接比生产者与目标集群断开链接要安全。若是消费者断开链接，那么只是当前读取不到数据，可是数据仍然在源集群内，并不会丢失；而生产者断开链接，MirrorMaker便生产不了数据，若是MirrorMaker自己处理不当，可能会丢失数据。

5）开始以前配置好限流，防止影响原来集群的正常工做。

3、进度监控

1） 检测MirrorMaker提交到源集群的位移。咱们可使用kafka-consumer-groups来检测分区的最新位移以及MirrorMaker提交的位移，经过计算差值获得落后间隔。

2） 查看Ckafka的Topic相关监控，查看当前进度