Kafka的底层实现原理

Kafka的架构组建

Topic:消息存放的目录主题

Producer:生产消息到topic的一方

Consumer:订阅topic消费消息的一方

Consumergroup:各个consumer能够组成一个组，每一个消息只能被组中的一个consumer消费，若是一个消息能被多个consumer消费，那么这些个consumer确定不在同一个组中

（因此同一个groupid下的consumer是各自消费消息的，不会出现消费同一个消息的状况出现

 

 

 

Kafka性能优秀缘由揭秘

1. kafka中的message并非保存在内存中的，而是保存在了磁盘上，惟一的区别是他运用了顺序写，而并不是采用随机写，顺序写的速度在600MB/S，随机写的速度在100KB/S，这个性能的提高的效果明显的，顺序写的效率并不比内存写差，甚至合理运用效率更高（充分利用了操做系统的预读、后写机制）
2. kafka经过sendfile命令，减小了数据拷贝，数据的拷贝基本全在内存中完成。（原先是将数据从硬盘读到内核区的pageCache,而后用户进程copy到用户区，用户区在吧数据写进socket中）如今是省掉了用户copy数据这一步，直接让内核区的数据写入socket中
3. push-and-pull：producer批量的push数据，consumer批量的pull数据，减小了io的次数

 

 

kafka和rabbitmq区别

 

1. rabbitmq比kafka更严谨，不易出现消息的丢失，缘由是rabbit有一个ack消息确认机制，只有消息处理完毕后，consumer才会给server发送一个回执，将queue中的消息删除，不然不会被删除
2. rabbitmq一样支持持久化，配置一个durable = true便可