深刻了解Kafka【五】Partition和消费者的关系

---

一、消费者与Partition

假设主题T1有四个分区。

1.一、一个消费者组

1.1.一、消费者数量小于分区数量

只有一个消费者时，消费者1将收到4个分区的所有消息。 当有两个消费者时，每一个消费者将分别从两个分区接受消息。

1.1.二、消费者数量等于分区数量

当有四个消费者时，每一个消费者均可以接受一个分区的消息。

1.1.三、消费者数量大于于分区数量

当有五个消费者时，会有闲置的消费者。

1.二、两个消费者组

消费者群组之间是互不影响的，如图：

二、分区分配策略

当消费者加入群组的时候，会根据分区分配策略决定哪些分区分配给哪些消费者。 Kafka有两种分配策略：Range和RoundRobin。

• Range Topic的若干个连续的Partition分配给消费者。
• RoundRobin Topic的全部Partition逐个分配给消费者。

三、分区Rebalance(再均衡)

• 有新的消费者加入消费者群组
• 已有的消费者退出消费者群组
• 订阅的主题的分区发生变化

以上三种状况都会触发分区的从新分配，从新分配的过程叫Rebalance(再均衡)。 Rebalance给消费者群组带来了高可用性与伸缩性，可是在Rebalance期间，消费者没法读取消息，整个群组一小段时间不可用，并且当分区被从新分配给另外一个消费者时，消费者当前的读取状态会丢失。