Kafka如何保证消息不丢失不重复

• 消费端重复消费：
  • 创建去重表
• 消费端丢失数据：
  • 关闭自动提交offset，处理完以后受到移位
• 生产端重复发送：
  • 这个不重要，消费端消费以前从去重表中判重就能够
• 生产端丢失数据：

  • 解决策略:

    • 一、异步方式缓冲区满了，就阻塞在那，等着缓冲区可用，不能清空缓冲区

    • 二、发送消息以后回调函数，发送成功就发送下一条，

      • 发送失败就记在日志里，等着定时脚本（定时器）来扫描

      • （发送失败可能并不真的发送失败，只是没收到反馈，定时脚本可能会重发）

如何保证有序（同步发送能保证顺序）：

• 同步发送模式：发出消息后，必须阻塞等待收到通知后，才发送下一条消息

• 异步发送模式：一直往缓冲区写，而后一把写到队列中去

• 二者都是各有利弊：

  • 同步发送模式虽然吞吐量小，可是发一条收到确认后再发下一条，既能保证不丢失消息，又能保证顺序

kafka数据丢失缘由：

1. 有3种状态（0（不须要等待确认）、1（leader确认）、-1（all确认））保证消息被安全生产，

   • 在配置状态为1（只保证写入leader成功的话），若是恰好leader partition挂了，数据就会丢失

2. 使用异步模式的时候，当缓存区满了，

   • 若是配置状态为0（还没收到确认的状况下，缓冲池一满，就清空缓冲池里的消息），数据就会被立马丢弃掉

3. 若是配置状态为-1

   • 因为ISR可能会缩小到仅包含一个Replica，因此设置参数为all并不能必定避免数据丢失

在数据生产时避免数据丢失的方法：

• 只要能避免上述两种状况，那么就能够保证消息不会被丢失。
•  

 

https://www.cnblogs.com/cherish010/p/9764810.html