Kafka消息文件存储

在对消息进行存储和缓存时，Kafka依赖于文件系统。（Page Cache）

 

线性读取和写入是全部使用模式中最具可预计性的一种方式，于是操做系统采用预读（read-ahead）和后写（write-behind）技术对磁盘读写进行探测并优化后效果也不错。预读就是提早将一个比较大的磁盘块中内容读入内存，后写是将一些较小的逻辑写入操做合并起来组成比较大的物理写入操做。

 

使用文件系统并依赖于页面缓存（Page Cache）要优于本身在内存中维护一个缓存或者什么别的结构。

 

经过对全部空闲内存自动拥有访问权，咱们至少将可用的缓存大小翻了一倍，而后经过保存压缩后的字节结构而非单个对象，缓存可用大小接着可能又翻了一倍。

 

这还大大简化了代码，由于对缓存和文件系统之间的一致性进行维护的全部逻辑如今都是在OS中实现的，这事OS作起来要比咱们在进程中作那种一次性的缓存更加高效，准确性也更高。

 

若是你使用磁盘的方式更倾向于线性读取操做，那么随着每次磁盘读取操做，预读就能很是高效使用随后准能用得着的数据填充缓存。

 

数据被传输到OS内核的页面缓存中了，OS随后会将这些数据刷新到磁盘的。此外咱们添加了一条基于配置的刷新策略，容许用户对把数据刷新到物理磁盘的频率进行控制（每当接收到N条消息或者每过M秒），从而能够为系统硬件崩溃时“处于危险之中”的数据在量上加个上限。

——————————————————————————————————————————————————

【与BTree方式对比】

持久化队列能够按照一般的日志解决方案的样子构建，只是简单的文件读取和简单地向文件中添加内容。

 

虽然这种结果必然没法支持BTree实现中的丰富语义，但有个优点之处在于其全部的操做的复杂度都是O(1)，读取操做并不须要阻止写入操做，并且反之亦然。

 

这样作显然有性能优点，由于性能彻底同数据大小之间脱离了关系 —— 一个服务器如今就能利用大量的廉价、低转速、容量超过1TB的SATA驱动器。虽然这些驱动器寻道操做的性能很低，但这些驱动器在大量数据读写的状况下性能还凑和，而只需1/3的价格就能得到3倍的容量。 可以存取到几乎无限大的磁盘空间而无须付出性能代价意味着，咱们能够提供一些消息系统中并不常见的功能。例如，在Kafka中，消息在使用完后并无当即删除，而是会将这些消息保存至关长的一段时间（比方说一周）。

 

——————————————————————————————————————————————————

 

Kafka的存储布局很是简单。话题的每一个分区对应一个逻辑日志。物理上，一个日志为相同大小的一组分段文件。每次生产者发布消息到一个分区，代理就将消息追加到最后一个段文件中。当发布的消息数量达到设定值或者通过必定的时间后，段文件真正写入磁盘中。写入完成后，消息公开给消费者。

与传统的消息系统不一样，Kafka系统中存储的消息没有明确的消息Id。

 

消息经过日志中的逻辑偏移量来公开。这样就避免了维护配套密集寻址，用于映射消息ID到实际消息地址的随机存取索引结构的开销。消息ID是增量的，但不连续。要计算下一消息的ID，能够在其逻辑偏移的基础上加上当前消息的长度。

 

消费者始终从特定分区顺序地获取消息，若是消费者知道特定消息的偏移量，也就说明消费者已经消费了以前的全部消息。消费者向代理发出异步拉请求，准备字节缓冲区用于消费。每一个异步拉请求都包含要消费的消息偏移量。Kafka利用sendfile API高效地从代理的日志段文件中分发字节给消费者。

——————————————————————————————————————————————————

 

 

————————————————————————————————————————————————

【Kafka高效文件存储设计特色】

Kafka把topic中一个parition大文件分红多个小文件段，经过多个小文件段，就容易按期清除或删除已经消费完文件，减小磁盘占用。

经过索引信息能够快速定位message和肯定response的最大大小。

经过index元数据所有映射到memory，能够避免segment file的IO磁盘操做。

经过索引文件稀疏存储，能够大幅下降index文件元数据占用空间大小。

————————————————————————————————————————————————

Partition：topic物理上的分组，一个topic能够分为多个partition，每一个partition是一个有序的队列。

 

Segment：partition物理上由多个segment组成，下面2.2和2.3有详细说明。

 

offset：每一个partition都由一系列有序的、不可变的消息组成，这些消息被连续的追加到partition中。partition中的每一个消息都有一个连续的序列号叫作offset,用于partition惟一标识一条消息.

————————————————————————————————————————————————

【kafka文件存储机制】

分析过程分为如下4个步骤：

topic中partition存储分布

partiton中文件存储方式

partiton中segment文件存储结构

在partition中如何经过offset查找message

————————————————————————————————————————————————

partiton中文件存储方式

 

每一个partion(目录)至关于一个巨型文件被平均分配到多个大小相等segment(段)数据文件中。但每一个段segment file消息数量不必定相等，这种特性方便old segment file快速被删除。

每一个partiton只须要支持顺序读写就好了，segment文件生命周期由服务端配置参数决定。

这样作的好处就是能快速删除无用文件，有效提升磁盘利用率。

————————————————————————————————————————————————

【partiton中segment文件存储结构】

 

读者从2.2节了解到Kafka文件系统partition存储方式，本节深刻分析partion中segment file组成和物理结构。

segment file组成：由2大部分组成，分别为index file和data file，此2个文件一一对应，成对出现，后缀".index"和“.log”分别表示为segment索引文件、数据文件.

segment文件命名规则：partion全局的第一个segment从0开始，后续每一个segment文件名为上一个segment文件最后一条消息的offset值。数值最大为64位long大小，19位数字字符长度，没有数字用0填充。

下面文件列表是笔者在Kafka broker上作的一个实验，建立一个topicXXX包含1 partition，设置每一个segment大小为500MB,并启动producer向Kafka broker写入大量数据,以下图2所示segment文件列表形象说明了上述2个规则：

 

————————————————————————————————————————————————

 

2.4 在partition中如何经过offset查找message

例如读取offset=368776的message，须要经过下面2个步骤查找。

 

第一步查找segment file

上述图2为例，其中00000000000000000000.index表示最开始的文件，起始偏移量(offset)为0.第二个文件00000000000000368769.index的消息量起始偏移量为368770 = 368769 + 1.一样，第三个文件00000000000000737337.index的起始偏移量为737338=737337 + 1，其余后续文件依次类推，以起始偏移量命名并排序这些文件，只要根据offset **二分查找**文件列表，就能够快速定位到具体文件。

当offset=368776时定位到00000000000000368769.index|log

 

第二步经过segment file查找message

经过第一步定位到segment file，当offset=368776时，依次定位到00000000000000368769.index的元数据物理位置和00000000000000368769.log的物理偏移地址，而后再经过00000000000000368769.log顺序查找直到offset=368776为止。

 

从上述图3可知这样作的优势，segment index file采起稀疏索引存储方式，它减小索引文件大小，经过mmap能够直接内存操做，稀疏索引为数据文件的每一个对应message设置一个元数据指针,它比稠密索引节省了更多的存储空间，但查找起来须要消耗更多的时间。

————————————————————————————————————————————————

 

从上述图5能够看出，Kafka运行时不多有大量读磁盘的操做，主要是按期批量写磁盘操做，所以操做磁盘很高效。

这跟Kafka文件存储中读写message的设计是息息相关的。Kafka中读写message有以下特色:

 

写message

消息从java堆转入page cache(即物理内存)。

由异步线程刷盘,消息从page cache刷入磁盘。

 

读message

消息直接从page cache转入socket发送出去。

当从page cache没有找到相应数据时，此时会产生磁盘IO,从磁
盘Load消息到page cache,而后直接从socket发出去

————————————————————————————————————————————————