面试连环炮系列（二十一）：大家的项目怎么使用kafka

1. 大家的项目怎么使用kafka?
   咱们采用kafka进行日志采集，准确点说是ELK方案，即elasticsearch + logstash + kibana + kafka。经过Spring AOP的方式收集日志，经过kafaka发送出去。

2. kafa存在丢消息的状况吗，怎么解决？
   1. producer把消息发送给broker，由于网络抖动，消息没有到达broker，且开发人员无感知。
      解决方案：producer设置acks参数，消息同步到master以后返回ack信号，不然抛异常使应用程序感知到并在业务中进行重试发送。这种方式必定程度保证了消息的可靠性，producer等待broker确认信号的时延也不高。
   2. producer把消息发送给broker-master，master接收到消息，在未将消息同步给follower以前，挂掉了，且开发人员无感知。
      解决方案：producer设置acks参数，消息同步到master且同步到全部follower以后返回ack信号，不然抛异常使应用程序感知到并在业务中进行重试发送。这样设置，在更大程度上保证了消息的可靠性，缺点是producer等待broker确认信号的时延比较高。
   3. producer把消息发送给broker-master，master接收到消息，master未成功将消息同步给每一个follower，有消息丢失风险。
      解决方案：同上。
   4. 某个broker消息还没有从内存缓冲区持久化到磁盘，就挂掉了，这种状况没法经过ack机制感知。
      解决方案：设置参数，加快消息持久化的频率，能在必定程度上减小这种状况发生的几率。但提升频率天然也会影响性能。
3. Kafka怎么作到高性能的？
   1. 顺序写磁盘：顺序写磁盘的性能比随机写入高不少倍。
   2. Page Cache：Kafka利用了操做系统自己的Page Cache，就是利用操做系统自身的内存而不是JVM空间内存。经过操做系统的Page Cache，Kafka的读写操做基本上是基于内存的，读写速度获得了极大的提高。
   3. 零拷贝技术：零拷贝技术，能够有效的减小上下文切换和拷贝次数。
4. 详细说说零拷贝技术
   传统的读取文件数据并发送到网络的步骤以下：
   1. 操做系统将数据从磁盘文件中读取到内核空间的页面缓存；
   2. 应用程序将数据从内核空间读入用户空间缓冲区；
   3. 应用程序将读到数据写回内核空间并放入socket缓冲区；
   4. 操做系统将数据从socket缓冲区复制到网卡接口，此时数据才能经过网络发送。

   “零拷贝技术”只用将磁盘文件的数据复制到页面缓存中一次，而后将数据从页面缓存直接发送到网络中（发送给不一样的订阅者时，均可以使用同一个页面缓存），避免了重复复制操做。若是有10个消费者，传统方式下，数据复制次数为4*10=40次，而使用“零拷贝技术”只须要1+10=11次，一次为从磁盘复制到页面缓存，10次表示10个消费者各自读取一次页面缓存。

参考(摘抄的文字版权属于原做者)：

https://blog.csdn.net/qrne06/article/details/94225070
http://www.javashuo.com/article/p-yqqkoeug-b.html
https://www.jianshu.com/p/835ec2d4c170
http://www.javashuo.com/article/p-zkqumuag-b.html