kafka和rabbitmq对比

一、吞吐量
kafka吞吐量更高：
1）Zero Copy机制，内核copy数据直接copy到网络设备，没必要通过内核到用户再到内核的copy，减少了copy次数和上下文切换次数，大大提升了效率。
2）磁盘顺序读写，减小了寻道等等的时间。
3）批量处理机制，服务端批量存储，客户端主动批量pull数据，消息处理效率高。
4）存储具备O(1)的复杂度，读物由于分区和segment，是O(log(n))的复杂度。
5）分区机制，有助于提升吞吐量。

二、可靠性
rabbitmq可靠性更好：
1）确认机制（生产者和exchange，消费者和队列）；
2）支持事务，但会形成阻塞；
3）委托（添加回调来处理发送失败的消息）和备份交换器（将发送失败的消息存下来后面再处理）机制；

三、高可用
1）rabbitmq采用mirror queue，即主从模式，数据是异步同步的，当消息过来，主从所有写完后，回ack，这样保障了数据的一致性。
2）每一个分区均可以有一个或多个副本，这些副本保存在不一样的broker上，broker信息存储在zookeeper上，当broker不可用会从新选举leader。
kafka支持同步负责消息和异步同步消息（有丢消息的可能），生产者从zk获取leader信息，发消息给leader，follower从leader pull数据而后回ack给leader。

四、负责均衡
1）kafka经过zk和分区机制实现：zk记录broker信息，生产者能够获取到并经过策略完成负载均衡；经过分区，投递消息到不一样分区，消费者经过服务组完成均衡消费。
2）须要外部支持。

五、模型
1）rabbitmq：
producer，broker遵循AMQP（exchange，bind，queue），consumer；
broker为中心，exchange分topic，direct，fanout和header，路由模式适合多种场景；
consumer消费位置由broker经过确认机制保存；
2）kafka：
producer，broker，consumer，未遵循AMQP；
consumer为中心，获取消息模式由consumer本身决定；
offset保存在消费者这边，broker无状态；
消息是名义上的永久存储，每一个parttition按segment保存本身的消息为文件（可配置清理周期）；
consumer能够经过重置offset消费历史消息；
须要绑定zk；

综上，kafka和rabbitmq适应场景不一样，kafka适用于高吞吐量场景，rabbitmq适用于对可靠性要求高的场景，综合来说kafka因为其超高的效率和offset、分区的灵活性，更多的获得了开发者的青睐。

 

 

 

选自https://www.cnblogs.com/small-office/p/9429938.html