rabbitmq和kafka的区别

一、吞吐量
kafka吞吐量更高:
  1)Zero Copy机制,内核copy数据直接copy到网络设备,没必要通过内核到用户再到内核的copy,减少了copy次数和上下文切换次数,大大提升了效率。
  2)磁盘顺序读写,减小了寻道等待的时间。
  3)批量处理机制,服务端批量存储,客户端主动批量pull数据,消息处理效率高。
  4)存储具备O(1)的复杂度,读物由于分区和segment,是O(log(n))的复杂度。
  5)分区机制,有助于提升吞吐量。

二、可靠性
rabbitmq可靠性更好:
  1)确认机制(生产者和exchange,消费者和队列);
  2)支持事务,但会形成阻塞;
  3)委托(添加回调来处理发送失败的消息)和备份交换器(将发送失败的消息存下来后面再处理)机制;

三、高可用
  1)rabbitmq采用mirror queue,即主从模式,数据是异步同步的,当消息过来,主从所有写完后,回ack,这样保障了数据的一致性。
  2)每一个分区均可以有一个或多个副本,这些副本保存在不一样的broker上,broker信息存储在zookeeper上,当broker不可用会从新选举leader。
  kafka支持同步负责消息和异步同步消息(有丢消息的可能),生产者从zk获取leader信息,发消息给leader,follower从leader pull数据而后回ack给leader。

四、负责均衡
  1)kafka经过zk和分区机制实现:zk记录broker信息,生产者能够获取到并经过策略完成负载均衡;经过分区,投递消息到不一样分区,消费者经过服务组完成均衡消费。
  2)须要外部支持。

五、模型
  1)rabbitmq:
    producer,broker遵循AMQP(exchange,bind,queue),consumer;
    broker为中心,exchange分topic,direct,fanout和header,路由模式适合多种场景;
    consumer消费位置由broker经过确认机制保存;
  2)kafka:
    producer,broker,consumer,未遵循AMQP;
    consumer为中心,获取消息模式由consumer本身决定;
    offset保存在消费者这边,broker无状态;
    消息是名义上的永久存储,每一个parttition按segment保存本身的消息为文件(可配置清理周期);
    consumer能够经过重置offset消费历史消息;
    须要绑定zk;网络

相关文章
相关标签/搜索