flink kafka 保证 Exactly Once 语义

flink 通过checkpoint机制来定期保存计算任务的快照,包含两个重要的参数: 1、整个计算任务的状态, 2、数据源的位置信息,比如kafka的offset flink通过数据流中插入一个barrier(屏障)来确保checkpoint中的位置和状态完全对应 kafka的exactly once语义通过事务和生产幂等共同实现 端到端的exactly once指的是数据从kafka的A主题消
相关文章
相关标签/搜索