XXL-MQ v1.2.0,分布式消息队列

Release Notes

  • 一、client端与Broker长链初始化优化,防止重复建立链接。
  • 二、POM多项依赖升级;
  • 三、UI组件升级;
  • 四、规范项目目录结构;
  • 六、超时控制;
  • 五、通信迁移至 xxl-rpc;
  • 六、除了springboot类型示例;新增无框架示例项目 "xxl-mq-samples-frameless"。不依赖第三方框架,只需main方法便可启动运行;
  • 七、消息生产,兼容“异步批量多线程生产”+“同步生产”两种方式,提高消息发送性能;
  • 八、底层通信全异步化:消息新增 + 消息新增接受 + 消息回调 + 消息回调接受;仅批量PULL消息与锁消息非异步;
  • 九、串行消费优化,旧版本固定第一台消费,致使其压力过大;新版支持自定义shardingId从而实现串行消息的负载均衡,缓解单台压力;
  • 十、广播消息优化,旧版本不支持消息持久化,新版本支持消息持久化,并且广播支持与串行结合实用,更加灵活;
  • 十一、并发消息、串行消息、广播消息所有优化重构,底层逻辑统一,方便后续维护扩展;
    • 串行:取消ZK依赖,废弃旧版ZK锁方式;优化为经过消息 shardingId 结合消费者排序取模方式;相同 shardingId 的消息将会固定被同一个消费者消费;
    • 并行:沿用旧版消费者排序取模方式,不过取模参数新增支持 shardingId 参数;确保消息平均分配给在线消费者;
    • 广播:取消ZK依赖,废弃旧版ZK方式;优化为经过消息 group 属性群发方式;每一个group都会消费该消息,但相同group下消息仅被消费一次;
  • 十二、Broker服务支持自定义指定注册IP等信息,位置 "XxlMqBrokerImpl.initServer";
  • 1三、Topic自动发现:消息中心支持动态发现Topic,并展现在消息主题列表,延时1min;
  • 1四、运行报表:支持展现在线业务线、消息主题、消息记录等信息、可在线查看消息日期分布图,成功分布图等;
  • 1五、业务线管理:支持设置业务线,用于分组管理消息主题;
  • 1六、消息主题管理:支持在线管理消息主题,自动发现消息主题;并支持完善消息主题扩展信息,如业务线、负责人、告警邮箱等;
  • 1七、消息记录界面,交互优化重构,进一步优化消息筛选、管理交互;
  • 1八、自动重试优化,任务重试时,生效时间重置为1min以后,重试次数减一;
  • 1九、记住密码功能优化,选中时永久记住;非选中时关闭浏览器即登出;
  • 20、事务开关:支持设置消息事务开关,开启时事务保证消息精准消费一次;未开启时小几率存在重复消费,仅依靠注册中心分片检测避免重复,但性能略高;
  • 2一、告警功能:支持以Topic粒度监控消息,存在失败消息时主动推送告警邮件;
  • 2二、轨迹Log优化,新增、更新时记录核心数据;消息日志格式统一;
  • 2三、消息在线清理:在消息记录界面,支持在线清理消息数据;
  • 2四、过时消息自动清理:消息中心新增参数 “xxl-mq.log.logretentiondays”设置消息过时天数,过时成功消息将会自动清理;
  • 2五、超时强化,除了客户端支持超时控制外;服务端新增线程扫描,主动处理超时消息;消息超过 "生效时间 + 超时时间 + 1HOUT" 以后仍然未结束,将会主动标记为失败;
  • 2六、左侧菜单规范:运行报表(业务线,主题数,消息记录数;总消息成功率,日分布柱状图,总分布饼图) + 消息主题 + 消息记录 + 使用教程;
  • 2七、注册中心迁移至DB,基于 "long polling" 实现注册机器实时感知;注册中心代码及逻辑来源自“XXL-RPC原生轻量级注册中心”;
  • 2八、轻量级改造,移除对ZK依赖,仅依赖DB便可完整集群方式提供服务;缺点,非强一致性可能致使重复消费,开启事务开关能够避免该问题;
  • 2九、文档示例完善,包括:并发消息、串行消息、广播消息、延迟消息、失败重试消息、超时控制消息等;
  • 30、文档完善:消息模型说明,延时消息说明、事务消息说明、失败重试、超时控制说明,
  • 3一、容器化:提供官方docker镜像,并实时更新推送dockerhub,进一步实现产品开箱即用;

简介

XXL-MQ是一款轻量级分布式消息队列,支持 "并发消息、串行消息、广播消息、延迟消息、事务消息、失败重试、超时控制" 等消息特性。现已开放源代码,开箱即用。html

输入图片说明
在这里输入图片标题

特性:

  • 一、简单易用: 一行代码便可发布一条消息; 一行注解便可订阅一个消息主题;
  • 二、轻量级: 部署简单,不依赖第三方服务,一分钟上手;
  • 三、消息中心HA:消息中心支持集群部署,可大大提升系统可用性,以及消息吞吐能力;
  • 四、消费者HA:消费者支持集群部署,保证消费者可用性;
  • 五、三种消息模式:
    • 并行消息:消息平均分配在该主题在线消费者,分片方式并行消费;适用于吞吐量较大的消息场景,如邮件发送、短信发送等业务逻辑
    • 串行消息:消息固定分配给该主题在线消费者中其中一个,FIFO方式串行消费;适用于严格限制并发的消息场景,如秒杀、抢单等排队业务逻辑;
    • 广播消息:消息将会广播发送给该主题在线消费者分组,所有分组都会消费该消息,可是一个分组下只会消费一次;适用于广播场景,如广播更新缓存等
  • 六、延时消息: 支持设置消息的延迟生效时间, 到达设置的生效时间时该消息才会被消费;适用于延时消费场景,如订单超时取消等;
  • 七、事务性: 消费者开启事务开关后,消息事务性保证只会成功执行一次;
  • 八、失败重试: 支持设置消息的重试次数, 在消息执行失败后将会按照设置的值进行消息重试执行,直至重试次数耗尽或者执行成功;
  • 九、超时控制: 支持自定义消息超时时间,消息消费超时将会主动中断;
  • 十、吞吐量: 依赖于部署的消费中心集群和DB性能;DB可借助多表提高性能,不考虑DB的状况下,吞吐量能够无限横向扩展;
  • 十一、消息可见: 系统中每一条消息可经过Web界面在线查看,甚至支持编辑消息内容和消息状态;
  • 十二、消息可追踪: 支持追踪每一条消息的执行路径, 便于排查业务问题;
  • 1三、容器化:提供官方docker镜像,并实时更新推送dockerhub,进一步实现产品开箱即用;
  • 1四、消息失败告警:支持以Topic粒度监控消息,存在失败消息时主动推送告警邮件;默认提供邮件方式失败告警,同时预留扩展接口,可方面的扩展短信、钉钉等告警方式;
  • 1五、容器化:提供官方docker镜像,并实时更新推送dockerhub,进一步实现产品开箱即用;

文档地址

技术交流