面试官：消息中间件如何实现每秒几十万的高并发写入？【石杉的架构笔记】

时间 2019-11-06

标签面试消息中间件如何实现每秒十万并发写入石杉的架构笔记栏目快乐工作繁體版

原文原文链接

欢迎关注我的公众号：石杉的架构笔记（ID:shishan100）程序员

周一至周五早8点半！精品技术文章准时送上！面试

精品学习资料获取通道，参见文末
算法

一、页缓存技术 + 磁盘顺序写

首先Kafka每次接收到数据都会往磁盘上去写，以下图所示。分布式

那么在这里咱们不由有一个疑问了，若是把数据基于磁盘来存储，频繁的往磁盘文件里写数据，这个性能会不会不好？你们确定都以为磁盘写性能是极差的。

没错，要是真的跟上面那个图那么简单的话，那确实这个性能是比较差的。

可是实际上Kafka在这里有极为优秀和出色的设计，就是为了保证数据写入性能，首先Kafka是基于操做系统的页缓存来实现文件写入的。

操做系统自己有一层缓存，叫作page cache，是在内存里的缓存，咱们也能够称之为os cache，意思就是操做系统本身管理的缓存。

你在写入磁盘文件的时候，能够直接写入这个os cache里，也就是仅仅写入内存中，接下来由操做系统本身决定何时把os cache里的数据真的刷入磁盘文件中。

仅仅这一个步骤，就能够将磁盘文件写性能提高不少了，由于其实这里至关因而在写内存，不是在写磁盘，你们看下图。

接着另一个就是kafka写数据的时候，很是关键的一点，他是以磁盘顺序写的方式来写的。也就是说，仅仅将数据追加到文件的末尾，不是在文件的随机位置来修改数据。

普通的机械磁盘若是你要是随机写的话，确实性能极差，也就是随便找到文件的某个位置来写数据。

可是若是你是追加文件末尾按照顺序的方式来写数据的话，那么这种磁盘顺序写的性能基本上能够跟写内存的性能自己也是差很少的。

因此你们就知道了，上面那个图里，Kafka在写数据的时候，一方面基于了os层面的page cache来写数据，因此性能很高，本质就是在写内存罢了。

另一个，他是采用磁盘顺序写的方式，因此即便数据刷入磁盘的时候，性能也是极高的，也跟写内存是差很少的。

基于上面两点，kafka就实现了写入数据的超高性能。

那么你们想一想，假如说kafka写入一条数据要耗费1毫秒的时间，那么是否是每秒就是能够写入1000条数据？

可是假如kafka的性能极高，写入一条数据仅仅耗费0.01毫秒呢？那么每秒是否是就能够写入10万条数？

因此要保证每秒写入几万甚至几十万条数据的核心点，就是尽最大可能提高每条数据写入的性能，这样就能够在单位时间内写入更多的数据量，提高吞吐量。

二、零拷贝技术

说完了写入这块，再来谈谈消费这块。

你们应该都知道，从Kafka里咱们常常要消费数据，那么消费的时候实际上就是要从kafka的磁盘文件里读取某条数据而后发送给下游的消费者，以下图所示。

那么这里若是频繁的从磁盘读数据而后发给消费者，性能瓶颈在哪里呢？

假设要是kafka什么优化都不作，就是很简单的从磁盘读数据发送给下游的消费者，那么大概过程以下所示：

先看看要读的数据在不在os cache里，若是不在的话就从磁盘文件里读取数据后放入os cache。

接着从操做系统的os cache里拷贝数据到应用程序进程的缓存里，再从应用程序进程的缓存里拷贝数据到操做系统层面的Socket缓存里，最后从Socket缓存里提取数据后发送到网卡，最后发送出去给下游消费。

整个过程，以下图所示：

你们看上图，很明显能够看到有两次不必的拷贝吧！

一次是从操做系统的cache里拷贝到应用进程的缓存里，接着又从应用程序缓存里拷贝回操做系统的Socket缓存里。

并且为了进行这两次拷贝，中间还发生了好几回上下文切换，一下子是应用程序在执行，一下子上下文切换到操做系统来执行。

因此这种方式来读取数据是比较消耗性能的。

Kafka为了解决这个问题，在读数据的时候是引入零拷贝技术。

也就是说，直接让操做系统的cache中的数据发送到网卡后传输给下游的消费者，中间跳过了两次拷贝数据的步骤，Socket缓存中仅仅会拷贝一个描述符过去，不会拷贝数据到Socket缓存。

你们看下图，体会一下这个精妙的过程：

经过零拷贝技术，就不须要把os cache里的数据拷贝到应用缓存，再从应用缓存拷贝到Socket缓存了，两次拷贝都省略了，因此叫作零拷贝。

对Socket缓存仅仅就是拷贝数据的描述符过去，而后数据就直接从os cache中发送到网卡上去了，这个过程大大的提高了数据消费时读取文件数据的性能。

并且你们会注意到，在从磁盘读数据的时候，会先看看os cache内存中是否有，若是有的话，其实读数据都是直接读内存的。

若是kafka集群通过良好的调优，你们会发现大量的数据都是直接写入os cache中，而后读数据的时候也是从os cache中读。

至关因而Kafka彻底基于内存提供数据的写和读了，因此这个总体性能会极其的高。

说个题外话

，下回有机会给你们说一下Elasticsearch的架构原理，其实ES底层也是大量基于os cache实现了海量数据的高性能检索的，跟Kafka原理相似。

三、最后的总结

经过这篇文章对kafka底层的页缓存技术的使用，磁盘顺序写的思路，以及零拷贝技术的运用，你们应该就明白Kafka每台机器在底层对数据进行写和读的时候采起的是什么样的思路，为何他的性能能够那么高，作到每秒几十万的吞吐量。

这种设计思想对咱们平时本身设计中间件的架构，或者是出去面试的时候，都有很大的帮助。

End

（封面图源网络，侵权删除）

扫描下方二维码，备注：“资料”，获取更多“秘制” 精品学习资料

一大波微服务、分布式、高并发、高可用的原创系列文章正在路上

欢迎扫描下方二维码，持续关注：

石杉的架构笔记（id:shishan100）

十余年BAT架构经验倾囊相授

面试官：消息中间件如何实现每秒几十万的高并发写入？【石杉的架构笔记】

目录

一、页缓存技术 + 磁盘顺序写

二、零拷贝技术

三、最后的总结