ActiveMQ多个消费者消费不均匀问题

ActiveMQ多个消费者消费不均匀问题

 

若是客户端处理很慢的话,Broker会在以前发送消息的反馈以前,继续发送新的消息到客户端。若是客户端依旧很慢的话,没有获得确认反馈的消息会持续增加。在这种状况下,Broker有可能会中止发送消息给消费者。当未被反馈的消息达到了prefetch limit设置的数字时,Broker将会中止给消费者发送新的消息。除非消费者开始给与反馈,不然得不到任何消息。java

Default Prefetch Limit(默认预取限制):不一样的消费者类型有不一样的默认设置,具体设置以下:session

若是想学习Java工程化、高性能及分布式、深刻浅出。微服务、Spring,MyBatis,Netty源码分析的朋友能够加个人Java高级交流:787707172,群里有阿里大牛直播讲解技术,以及Java大型互联网技术的视频免费分享给你们。架构

Queue consumer:默认1000分布式

若是你使用一组消费者进行分散工做量的话(一个Queue对应多个消费者),典型的你应该把数字设置的小一些。若是一个消费者被容许能够汇集大量的未被确认的消息的话,会致使其它的消费者无事可作。同时,若是这个消费者出错的话,会致使大量的消息不能被处理,直到消费者恢复以前。微服务

Queue browser:默认500源码分析

Topic consumer:默认32766性能

默认值32766是数字short的最大值,也是预取限制的最大值。学习

Durable topic subscriber:默认100fetch

一般你能够经过增长预取限制来改善性能。优化

Optimizing prefetch limits(优化预取限制):一般的,优化Queue消费和持久化主题订阅者(durable topic subscriber)是个好主意。

Queue consumers—若是你的queue只有一个消费者的话,你能够设置预取限制为一个至关大的值。但,若是一个queue有一组消费者的话,你最好限制到一个比较小的数字上,好比0或者1.

Durable topic subscribers—一般增大预取限制的数量会提升性能。尝试一下增长到1000.

How to set prefectch limits(如何设置预取限制):你能够在Broker端或者消费者端设置预取制限。这有三种粒度的设置方式。以下:

java写法

ActiveMQConnectionFactory factory = new ActiveMQConnectionFactory();
 
Properties props = new Properties();
props.setProperty("prefetchPolicy.queuePrefetch", "1000");
props.setProperty("prefetchPolicy.queueBrowserPrefetch", "500");
props.setProperty("prefetchPolicy.durableTopicPrefetch", "100");
props.setProperty("prefetchPolicy.topicPrefetch", "32766");
 
factory.setProperties(props);

Per destination:一个最好的粒度,你能够在建立消费者的时候设置每一个目的的预取限制。消费queue,TEST.QUEUE,时指定预取限制为10.建立MessageConsumer 实例的代码以下:

Queue queue = 
 new ActiveMQQueue("TEST.QUEUE?consumer.prefetchSize=10");
 
MessageConsumer consumer = session.createConsumer(queue);

欢迎工做一到八年的Java工程师朋友们加入Java高级交流:787707172

本群提供免费的学习指导 架构资料 以及免费的解答

不懂得问题均可以在本群提出来 以后还会有直播平台和讲师直接交流噢