【原创】消息队列的消费语义和投递语义

引言

所谓的消费语义，指的就是以下三种状况

• 如何保证消息最多消费一次
• 如何保证消息至少消费一次
• 如何保证消息刚好消费一次

其实相似还有一个投递语义

• 如何保证消息最多投递一次
• 如何保证消息至少投递一次
• 如何保证消息刚好投递一次

说句实在话，其实仍是老问题，只是换了一种问法！
OK,开始咱们的正文

正文

咱们先作以下约定

• Producer表明生产者
• Consumer表明消费者
• Message Queue表明消息队列

投递语义

咱们先从投递语义开始讲起，由于要先把这个概念讲明白了，才能讲消费语义。恰巧，kafka实现了这三种语义，咱们以kafka来讲明。

如何保证消息最多投递一次?
简单，就是我已经投出去了，收没收到无论了，会存在消息丢失。
咱们在初始化Producer时能够经过配置request.required.acks不一样的值,来实现不一样的发送模式。
这里将request.required.acks设为0，意思就是Producer不等待Leader确认，只管发出便可；最可能丢失消息。若是丢了消息，就是投递0次。若是没丢，就是投递1次。符合最多投递一次的含义。

如何保证消息至少投递一次?
这里将request.required.acks设为-1。Producer往kafka的Leader（主）节点发送消息后，会等follower(从)节点同步完数据之后，再给Producer返回ACK确认消息。
可是这里是有概率出现重复消费的问题的。
例如，kafka保存消息后，发送ACK前宕机，Producer认为消息未发送成功并重试，形成数据重复！
那么，在这种状况下，就会出现大于1次的投递状况，符合至少投递一次的含义。

如何保证消息刚好投递一次?
kafka在0.11.0.0版本以后支持刚好投递一次的语义。
咱们将enable.idempotence设置为ture,此时就会默认把request.required.acks设为-1，能够达到刚好投递一次的语义。
如何作到的？
为了实现Producer的幂等语义，Kafka引入了Producer ID（即PID）和Sequence Number。
kafka为每一个Producer分配一个pid，做为该Producer的惟一标识。
Producer会为每个<topic,partition>维护一个单调递增的seq。
相似的，Message Queue也会为每一个<pid,topic,partition>记录下最新的seq。
当req_seq == message_seq+1时，Message Queue才会接受该消息。由于：

• (1)消息的seq比Message Queue的seq大一以上，说明中间有数据还没写入，即乱序了。
• (2)消息的seq比Message Queue的seq小，那么说明该消息已被保存。

消费语义

这里咱们仍是作一个定义以下所示

• consumer.poll()表示消费者获取消息内容
• processMsg(message)表示下游系统进行消费消息
• consumer.commit()表示消费者往消息队列提交确认信息，消息队列接到确认消息，删除该消息。

注意了，我是以processMsg函数，即处理消息的过程，定义为消费消息。
如何保证消息最多消费一次?
Producer:知足最多投递一次的语义便可，即只管发消息，不须要等待消息队列返回确认消息。
Message Queue:接到消息后往内存中一放就行，不用持久化存储。
Consumer：拉取到消息之后，直接给消息队列返回确认消息便可。至于后续消费消息成功与否，无所谓的。即按照如下顺序执行

consumer.poll();
consumer.commit();
processMsg(message);

如何保证消息至少消费一次?
Producer:知足至少投递一次语义便可，即发送消息后，须要等待消息队列返回确认消息。若是超时没收到确认消息，则重发。
Message Queue:接到消息后，进行持久化存储，然后返回生产者确认消息。
Consumer：拉取到消息后，进行消费，消费成功后，再返回确认消息。即按照以下顺序执行

consumer.poll();
processMsg(message);
consumer.commit();

因为这里Producer知足的是至少投递一次语义，所以消息队列中是有重复消息的。因此咱们的Consumer会出现重复消费的情形！

如何保证消息刚好消费一次?
在保证至少消费一次的基础上，processMsg知足幂等性操做便可。
如何保证幂等性操做？
老问题了，好比有状态的消息啊。好比惟一表啊。你们搜一搜，一大堆答案，不想重复说了。

总结

本文讲的是消息队列的消费语义和投递语义的含义，但愿你们有所收获。