Kafka底层原理剖析（近万字建议收藏）

Kafka 简介

Apache Kafka 是一个分布式发布-订阅消息系统。是大数据领域消息队列中惟一的王者。最初由 linkedin 公司使用 scala 语言开发，在2010年贡献给了Apache基金会并成为顶级开源项目。至今已有十余年，仍然是大数据领域不可或缺的而且是愈来愈重要的一个组件。

Kafka 适合离线和在线消息，消息保留在磁盘上，并在集群内复制以防止数据丢失。kafka构建在zookeeper同步服务之上。它与 Flink 和 Spark 有很是好的集成，应用于实时流式数据分析。

Kafka特色：

1. 可靠性：具备副本及容错机制。
2. 可扩展性：kafka无需停机便可扩展节点及节点上线。
3. 持久性：数据存储到磁盘上，持久性保存。
4. 性能：kafka具备高吞吐量。达到TB级的数据，也有很是稳定的性能。
5. 速度快：顺序写入和零拷贝技术使得kafka延迟控制在毫秒级。

Kafka 底层原理

先看下 Kafka 系统的架构

Kafka 架构

kafka支持消息持久化，消费端是主动拉取数据，消费状态和订阅关系由客户端负责维护，消息消费完后，不会当即删除，会保留历史消息。所以支持多订阅时，消息只会存储一份就能够。

1. broker：kafka集群中包含一个或者多个服务实例（节点），这种服务实例被称为broker（一个broker就是一个节点/一个服务器）；
2. topic：每条发布到kafka集群的消息都属于某个类别，这个类别就叫作topic；
3. partition：partition是一个物理上的概念，每一个topic包含一个或者多个partition；
4. segment：一个partition当中存在多个segment文件段，每一个segment分为两部分，.log文件和 .index 文件，其中 .index 文件是索引文件，主要用于快速查询， .log 文件当中数据的偏移量位置；
5. producer：消息的生产者，负责发布消息到 kafka 的 broker 中；
6. consumer：消息的消费者，向 kafka 的 broker 中读取消息的客户端；
7. consumer group：消费者组，每个 consumer 属于一个特定的 consumer group（能够为每一个consumer指定 groupName）；
8. .log：存放数据文件；
9. .index：存放.log文件的索引数据。

Kafka 主要组件

1. producer（生产者）

producer主要是用于生产消息，是kafka当中的消息生产者，生产的消息经过topic进行归类，保存到kafka的broker里面去。

2. topic（主题）

1. kafka将消息以topic为单位进行归类；
2. topic特指kafka处理的消息源（feeds of messages）的不一样分类；
3. topic是一种分类或者发布的一些列记录的名义上的名字。kafka主题始终是支持多用户订阅的；也就是说，一 个主题能够有零个，一个或者多个消费者订阅写入的数据；
4. 在kafka集群中，能够有无数的主题；
5. 生产者和消费者消费数据通常以主题为单位。更细粒度能够到分区级别。

3. partition（分区）

kafka当中，topic是消息的归类，一个topic能够有多个分区（partition），每一个分区保存部分topic的数据，全部的partition当中的数据所有合并起来，就是一个topic当中的全部的数据。

一个broker服务下，能够建立多个分区，broker数与分区数没有关系；  
在kafka中，每个分区会有一个编号：编号从0开始。  
每个分区内的数据是有序的，但全局的数据不能保证是有序的。（有序是指生产什么样顺序，消费时也是什么样的顺序）

4. consumer（消费者）

consumer是kafka当中的消费者，主要用于消费kafka当中的数据，消费者必定是归属于某个消费组中的。

5. consumer group（消费者组）

消费者组由一个或者多个消费者组成，同一个组中的消费者对于同一条消息只消费一次。

每一个消费者都属于某个消费者组，若是不指定，那么全部的消费者都属于默认的组。

每一个消费者组都有一个ID，即group ID。组内的全部消费者协调在一块儿来消费一个订阅主题( topic)的全部分区(partition)。固然，每一个分区只能由同一个消费组内的一个消费者(consumer)来消费，能够由不一样的消费组来消费。

partition数量决定了每一个consumer group中并发消费者的最大数量。以下图：

示例 1

如上面左图所示，若是只有两个分区，即便一个组内的消费者有4个，也会有两个空闲的。  
如上面右图所示，有4个分区，每一个消费者消费一个分区，并发量达到最大4。

在来看以下一幅图：

示例 2

如上图所示，不一样的消费者组消费同一个topic，这个topic有4个分区，分布在两个节点上。左边的 消费组1有两个消费者，每一个消费者就要消费两个分区才能把消息完整的消费完，右边的 消费组2有四个消费者，每一个消费者消费一个分区便可。

总结下kafka中分区与消费组的关系：

消费组： 由一个或者多个消费者组成，同一个组中的消费者对于同一条消息只消费一次。
某一个主题下的分区数，对于消费该主题的同一个消费组下的消费者数量，应该小于等于该主题下的分区数。

如：某一个主题有4个分区，那么消费组中的消费者应该小于等于4，并且最好与分区数成整数倍 1    2   4 这样。同一个分区下的数据，在同一时刻，不能同一个消费组的不一样消费者消费。

总结：分区数越多，同一时间能够有越多的消费者来进行消费，消费数据的速度就会越快，提升消费的性能。

6. partition replicas（分区副本）

kafka 中的分区副本以下图所示：

kafka 分区副本

副本数（replication-factor）：控制消息保存在几个broker（服务器）上，通常状况下副本数等于broker的个数。

一个broker服务下，不能够建立多个副本因子。建立主题时，副本因子应该小于等于可用的broker数。

副本因子操做以分区为单位的。每一个分区都有各自的主副本和从副本；

主副本叫作leader，从副本叫作 follower（在有多个副本的状况下，kafka会为同一个分区下的全部分区，设定角色关系：一个leader和N个 follower），处于同步状态的副本叫作in-sync-replicas(ISR);

follower经过拉的方式从leader同步数据。
消费者和生产者都是从leader读写数据，不与follower交互。

副本因子的做用：让kafka读取数据和写入数据时的可靠性。

副本因子是包含自己，同一个副本因子不能放在同一个broker中。

若是某一个分区有三个副本因子，就算其中一个挂掉，那么只会剩下的两个中，选择一个leader，但不会在其余的broker中，另启动一个副本（由于在另外一台启动的话，存在数据传递，只要在机器之间有数据传递，就会长时间占用网络IO，kafka是一个高吞吐量的消息系统，这个状况不容许发生）因此不会在另外一个broker中启动。

若是全部的副本都挂了，生产者若是生产数据到指定分区的话，将写入不成功。

lsr表示：当前可用的副本。

7. segment文件

一个partition当中由多个segment文件组成，每一个segment文件，包含两部分，一个是 .log 文件，另一个是 .index 文件，其中 .log 文件包含了咱们发送的数据存储，.index 文件，记录的是咱们.log文件的数据索引值，以便于咱们加快数据的查询速度。

索引文件与数据文件的关系

既然它们是一一对应成对出现，必然有关系。索引文件中元数据指向对应数据文件中message的物理偏移地址。

好比索引文件中 3,497 表明：数据文件中的第三个message，它的偏移地址为497。

再来看数据文件中，Message 368772表示：在全局partiton中是第368772个message。

注：segment index file 采起稀疏索引存储方式，减小索引文件大小，经过mmap（内存映射）能够直接内存操做，稀疏索引为数据文件的每一个对应message设置一个元数据指针，它比稠密索引节省了更多的存储空间，但查找起来须要消耗更多的时间。

.index 与 .log 对应关系以下：

.index 与 .log

上图左半部分是索引文件，里面存储的是一对一对的key-value，其中key是消息在数据文件（对应的log文件）中的编号，好比“1,3,6,8……”，
分别表示在log文件中的第1条消息、第3条消息、第6条消息、第8条消息……

那么为何在index文件中这些编号不是连续的呢？
这是由于index文件中并无为数据文件中的每条消息都创建索引，而是采用了稀疏存储的方式，每隔必定字节的数据创建一条索引。
这样避免了索引文件占用过多的空间，从而能够将索引文件保留在内存中。
但缺点是没有创建索引的Message也不能一次定位到其在数据文件的位置，从而须要作一次顺序扫描，可是此次顺序扫描的范围就很小了。

value 表明的是在全局partiton中的第几个消息。

以索引文件中元数据 3,497 为例，其中3表明在右边log数据文件中从上到下第3个消息，
497表示该消息的物理偏移地址（位置）为497(也表示在全局partiton表示第497个消息-顺序写入特性)。

log日志目录及组成
kafka在咱们指定的log.dir目录下，会建立一些文件夹；名字是 （主题名字-分区名） 所组成的文件夹。 在（主题名字-分区名）的目录下，会有两个文件存在，以下所示：

#索引文件
00000000000000000000.index
#日志内容
00000000000000000000.log

在目录下的文件，会根据log日志的大小进行切分，.log文件的大小为1G的时候，就会进行切分文件；以下：

-rw-r--r--. 1 root root 389k  1月  17  18:03   00000000000000000000.index
-rw-r--r--. 1 root root 1.0G  1月  17  18:03   00000000000000000000.log
-rw-r--r--. 1 root root  10M  1月  17  18:03   00000000000000077894.index
-rw-r--r--. 1 root root 127M  1月  17  18:03   00000000000000077894.log

在kafka的设计中，将offset值做为了文件名的一部分。

segment文件命名规则：partion全局的第一个segment从0开始，后续每一个segment文件名为上一个全局 partion的最大offset（偏移message数）。数值最大为64位long大小，20位数字字符长度，没有数字就用 0 填充。

经过索引信息能够快速定位到message。经过index元数据所有映射到内存，能够避免segment File的IO磁盘操做；

经过索引文件稀疏存储，能够大幅下降index文件元数据占用空间大小。

稀疏索引：为了数据建立索引，但范围并非为每一条建立，而是为某一个区间建立；
好处：就是能够减小索引值的数量。
很差的地方：找到索引区间以后，要得进行第二次处理。

8. message的物理结构

生产者发送到kafka的每条消息，都被kafka包装成了一个message

message 的物理结构以下图所示：

.index 与 .log

因此生产者发送给kafka的消息并非直接存储起来，而是通过kafka的包装，每条消息都是上图这个结构，只有最后一个字段才是真正生产者发送的消息数据。

kafka中的数据不丢失机制

1. 生产者生产数据不丢失

发送消息方式

生产者发送给kafka数据，能够采用同步方式或异步方式

同步方式：

发送一批数据给kafka后，等待kafka返回结果：

1. 生产者等待10s，若是broker没有给出ack响应，就认为失败。
2. 生产者重试3次，若是尚未响应，就报错.

异步方式：

发送一批数据给kafka，只是提供一个回调函数：

1. 先将数据保存在生产者端的buffer中。buffer大小是2万条 。
2. 知足数据阈值或者数量阈值其中的一个条件就能够发送数据。
3. 发送一批数据的大小是500条。

注：若是broker迟迟不给ack，而buffer又满了，开发者能够设置是否直接清空buffer中的数据。

ack机制（确认机制）

生产者数据发送出去，须要服务端返回一个确认码，即ack响应码；ack的响应有三个状态值0,1，-1

0：生产者只负责发送数据，不关心数据是否丢失，丢失的数据，须要再次发送

1：partition的leader收到数据，无论follow是否同步完数据，响应的状态码为1

-1：全部的从节点都收到数据，响应的状态码为-1

若是broker端一直不返回ack状态，producer永远不知道是否成功；producer能够设置一个超时时间10s，超过期间认为失败。

2. broker中数据不丢失

在broker中，保证数据不丢失主要是经过副本因子（冗余），防止数据丢失。

3. 消费者消费数据不丢失

在消费者消费数据的时候，只要每一个消费者记录好offset值便可，就能保证数据不丢失。也就是须要咱们本身维护偏移量(offset)，可保存在 Redis 中。

搜索公众号：五分钟学大数据，回复 秘籍 便可获取上百本大数据书籍；回复 简历 获取几十份大数据简历模板