Flink Task重启之后重复消费Kafka消息问题解决
我的项目是从Kafka消费消息，计算之后发送到elasticsearch存储。 现象：每次重启Flink Task，都会往elasticsearch发送已经计算过的数据。比如本来elasticsearch有3条记录，在不往Kafka生产新消息的情况下，重新启动Flink Task之后有6条，再重启是9条，说明数据重复。 初步怀疑是因为重复消费Kafka的消息，可能是offset没有提交。于是在Fl
相关文章
- 1. kafka 重启consumer 重复消费问题
- 2. kafka重复消费问题
- 3. 消息中间件（四）之-kafka重复消费问题
- 4. RocketMQ消息重复消费的问题
- 5. 队列消息重复消费解决
- 6. Spring-kafka遇到的消息重复消费问题
- 7. MQ解决消息重复消费问题
- 8. RocketMQ的消息重复消费问题的解决
- 9. Kafka重复消费数据问题
- 10. Storm bolt重复消费问题解决
- 更多相关文章...
- • HTTP 消息结构 - HTTP 教程
- • Eclipse 重启选项 - Eclipse 教程
- • PHP Ajax 跨域问题最佳解决方案
- • IntelliJ IDEA中SpringBoot properties文件不能自动提示问题解决
相关标签/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
欢迎关注本站公众号,获取更多信息
相关文章