干趴面试官系列 | 请你简述一下Kafka中的分区分配

“请你简述一下Kafka中的分区分配”，当面试官问你这个问题的时候，你会怎么回答？其实，这道题目里面就暗藏汹涌，由于Kafka中的分区分配在多处出现，而这个问题的表述方式是在潜意识里暗示你回答一种，这样在你自认为很完美的回答完这个问题以后，面试官会冷不丁的来一句：还有呢？

当你回答完一个点的时候，面试官来一句还有呢，当你再补上一个的时候，他仍是会来一句还有呢，就算你又补上第三个的时候，他仍是会来一句还有呢？这个时候你会不会一脸懵逼？

今天就针对这个问题来告诉你们怎么样回答才能严丝合缝地抢得先机。

在Kafka中，分区分配是一个很重要的概念，却每每会被读者忽视，它会影响Kafka总体的性能均衡。当遇到“分区分配”这个字眼的时候，必定要记住有三处地方，分别是生产者发送消息、消费者消费消息和建立主题。虽然这三处的对应操做均可以被称之为“分区分配”，可是其实质上所包含的内容却并不相同。

在面对开篇的问题的时候，不如一下就进行总结性的陈词，说有三处，第1、第2、第三balabala，当真的让你讲完三处的时候，时间也就差很少了。。聪明的面试官看到你一上来就作了一个规划总结，那他顶多也就让你说说你最熟悉的一种，其实说不定心里已经确认你是对的人。

下面针对这三处作个讲解。不过本文旨在罗列相关知识点，进行相关性的科普描述，让读者能够追根溯源，但并不陈述具体细节，由于细节不少，篇幅有限，若有须要请详参老朽的《深刻理解Kafka》。

生产者的分区分配

对于用户而言，当调用send方法发送消息以后，消息就天然而然的发送到了broker中。其实在这一过程当中，有可能还要通过拦截器、序列化器和分区器（Partitioner）的一系列做用以后才能被真正地发往broker。

producer.send(record);
复制代码

消息在发往broker以前是须要肯定它所发往的分区的，若是消息ProducerRecord中指定了partition字段，那么就不须要分区器的做用，由于partition表明的就是所要发往的分区号。若是消息ProducerRecord中没有指定partition字段，那么就须要依赖分区器，根据key这个字段来计算partition的值。分区器的做用就是为消息分配分区。

Kafka中提供的默认分区器是DefaultPartitioner，它实现了Partitioner接口（用户能够实现这个接口来自定义分区器），其中的partition方法就是用来实现具体的分区分配逻辑：

public int partition(String topic, Object key, byte[] keyBytes,
                     Object value, byte[] valueBytes, Cluster cluster);
复制代码

默认状况下，若是消息的key不为null，那么默认的分区器会对key进行哈希（采用MurmurHash2算法，具有高运算性能及低碰撞率），最终根据获得的哈希值来计算分区号，拥有相同key的消息会被写入同一个分区。若是key为null，那么消息将会以轮询的方式发往主题内的各个可用分区。

注意：若是key不为null，那么计算获得的分区号会是全部分区中的任意一个；若是key为null而且有可用分区，那么计算获得的分区号仅为可用分区中的任意一个，注意二者之间的差异。

消费者的分区分配

在Kafka的默认规则中，每个分区只能被同一个消费组中的一个消费者消费。消费者的分区分配是指为消费组中的消费者分配所订阅主题中的分区。

如图所示，某个主题中共有4个分区（Partition）：P0、P一、P二、P3。有两个消费组A和B都订阅了这个主题，消费组A中有4个消费者（C0、C一、C2和C3），消费组B中有2个消费者（C4和C5）。按照Kafka默认的规则，最后的分配结果是消费组A中的每个消费者分配到1个分区，消费组B中的每个消费者分配到2个分区，两个消费组之间互不影响。每一个消费者只能消费所分配到的分区中的消息。

对于消费者的分区分配而言，Kafka自身提供了三种策略，分别为RangeAssignor、RoundRobinAssignor以及StickyAssignor，其中RangeAssignor为默认的分区分配策略，至于这三种策略具体表明什么含义，能够去查阅相关资料，好比《深刻理解Kafka》，嘿嘿。固然也能够经过实现ParitionAssignor接口来自定义分区分配策略。

在消费组中若是有多个消费者，那么这些消费者又可能会采用不一样的分配策略，那么最后怎么“拍板”使用哪种具体的分配策略呢？

对于这里，我想留一道思考题给你们：在Kafka的默认规则中，每个分区只能被同一个消费组中的一个消费者消费，那么这个规则能够被打破么？若是能够，怎么打破？打破的收益又是什么？

broker端的分区分配

生产者的分区分配是指为每条消息指定其所要发往的分区，消费者中的分区分配是指为消费者指定其能够消费消息的分区，而这里的分区分配是指为集群制定建立主题时的分区副本分配方案，即在哪一个broker中建立哪些分区的副本。分区分配是否均衡会影响到Kafka总体的负载均衡，具体还会牵涉到优先副本等概念。

在建立主题时，若是使用了replica-assignment参数，那么就按照指定的方案来进行分区副本的建立；若是没有使用replica-assignment参数，那么就须要按照内部的逻辑来计算分配方案了。使用kafka-topics.sh脚本建立主题时的内部分配逻辑按照机架信息划分红两种策略：未指定机架信息和指定机架信息。若是集群中全部的broker节点都没有配置broker.rack参数，或者使用disable-rack-aware参数来建立主题，那么采用的就是未指定机架信息的分配策略，不然采用的就是指定机架信息的分配策略。

---

欢迎支持笔者小册：《图解Kafka之实战指南》和《图解Kafka之核心原理》

---

欢迎支持笔者新做：《深刻理解Kafka:核心设计与实践原理》和《RabbitMQ实战指南》，同时欢迎关注笔者的微信公众号：朱小厮的博客。