kafka-消息防丢失和消息去重

如何防止数据丢失 生产者：同步发送消息，且消息配置为-1或all，leader分区和全部follwer都写到磁盘里。node 异步模式下，为防止缓冲区满，能够在配置文件设置不限制阻塞超时时间，当缓冲区满时让生产者一直处于阻塞状态。web 生产者：手动提交，即读取到消息后，确认消息消费完毕，才手动提交offset。可是要避免逻辑处理时间过长，致使链接超时，会使消息重复消费。redis 故kafka必

>>阅读原文<<