Release Notes
- 1、client端与Broker长链初始化优化,防止重复创建连接。
- 2、POM多项依赖升级;
- 3、UI组件升级;
- 4、规范项目目录结构;
- 6、超时控制;
- 5、通讯迁移至 xxl-rpc;
- 6、除了springboot类型示例;新增无框架示例项目 "xxl-mq-samples-frameless"。不依赖第三方框架,只需main方法即可启动运行;
- 7、消息生产,兼容“异步批量多线程生产”+“同步生产”两种方式,提升消息发送性能;
- 8、底层通讯全异步化:消息新增 + 消息新增接受 + 消息回调 + 消息回调接受;仅批量PULL消息与锁消息非异步;
- 9、串行消费优化,旧版本固定第一台消费,导致其压力过大;新版支持自定义shardingId从而实现串行消息的负载均衡,缓解单台压力;
- 10、广播消息优化,旧版本不支持消息持久化,新版本支持消息持久化,而且广播支持与串行结合实用,更加灵活;
- 11、并发消息、串行消息、广播消息全部优化重构,底层逻辑统一,方便后续维护扩展;
- 串行:取消ZK依赖,废弃旧版ZK锁方式;优化为通过消息 shardingId 结合消费者排序取模方式;相同 shardingId 的消息将会固定被同一个消费者消费;
- 并行:沿用旧版消费者排序取模方式,不过取模参数新增支持 shardingId 参数;确保消息平均分配给在线消费者;
- 广播:取消ZK依赖,废弃旧版ZK方式;优化为通过消息 group 属性群发方式;每个group都会消费该消息,但相同group下消息仅被消费一次;
- 12、Broker服务支持自定义指定注册IP等信息,位置 "XxlMqBrokerImpl.initServer";
- 13、Topic自动发现:消息中心支持动态发现Topic,并展示在消息主题列表,延时1min;
- 14、运行报表:支持展示在线业务线、消息主题、消息记录等信息、可在线查看消息日期分布图,成功分布图等;
- 15、业务线管理:支持设置业务线,用于分组管理消息主题;
- 16、消息主题管理:支持在线管理消息主题,自动发现消息主题;并支持完善消息主题扩展信息,如业务线、负责人、告警邮箱等;
- 17、消息记录界面,交互优化重构,进一步优化消息筛选、管理交互;
- 18、自动重试优化,任务重试时,生效时间重置为1min之后,重试次数减一;
- 19、记住密码功能优化,选中时永久记住;非选中时关闭浏览器即登出;
- 20、事务开关:支持设置消息事务开关,开启时事务保证消息精准消费一次;未开启时小概率存在重复消费,仅依靠注册中心分片检测避免重复,但性能略高;
- 21、告警功能:支持以Topic粒度监控消息,存在失败消息时主动推送告警邮件;
- 22、轨迹Log优化,新增、更新时记录核心数据;消息日志格式统一;
- 23、消息在线清理:在消息记录界面,支持在线清理消息数据;
- 24、过期消息自动清理:消息中心新增参数 “xxl-mq.log.logretentiondays”设置消息过期天数,过期成功消息将会自动清理;
- 25、超时强化,除了客户端支持超时控制外;服务端新增线程扫描,主动处理超时消息;消息超过 "生效时间 + 超时时间 + 1HOUT" 之后仍然未结束,将会主动标记为失败;
- 26、左侧菜单规范:运行报表(业务线,主题数,消息记录数;总消息成功率,日分布柱状图,总分布饼图) + 消息主题 + 消息记录 + 使用教程;
- 27、注册中心迁移至DB,基于 "long polling" 实现注册机器实时感知;注册中心代码及逻辑来源自“XXL-RPC原生轻量级注册中心”;
- 28、轻量级改造,移除对ZK依赖,仅依赖DB即可完整集群方式提供服务;缺点,非强一致性可能导致重复消费,开启事务开关可以避免该问题;
- 29、文档示例完善,包括:并发消息、串行消息、广播消息、延迟消息、失败重试消息、超时控制消息等;
- 30、文档完善:消息模型说明,延时消息说明、事务消息说明、失败重试、超时控制说明,
- 31、容器化:提供官方docker镜像,并实时更新推送dockerhub,进一步实现产品开箱即用;
简介
XXL-MQ是一款轻量级分布式消息队列,支持 "并发消息、串行消息、广播消息、延迟消息、事务消息、失败重试、超时控制" 等消息特性。现已开放源代码,开箱即用。
特性:
- 1、简单易用: 一行代码即可发布一条消息; 一行注解即可订阅一个消息主题;
- 2、轻量级: 部署简单,不依赖第三方服务,一分钟上手;
- 3、消息中心HA:消息中心支持集群部署,可大大提高系统可用性,以及消息吞吐能力;
- 4、消费者HA:消费者支持集群部署,保证消费者可用性;
- 5、三种消息模式:
- 并行消息:消息平均分配在该主题在线消费者,分片方式并行消费;适用于吞吐量较大的消息场景,如邮件发送、短信发送等业务逻辑
- 串行消息:消息固定分配给该主题在线消费者中其中一个,FIFO方式串行消费;适用于严格限制并发的消息场景,如秒杀、抢单等排队业务逻辑;
- 广播消息:消息将会广播发送给该主题在线消费者分组,全部分组都会消费该消息,但是一个分组下只会消费一次;适用于广播场景,如广播更新缓存等
- 6、延时消息: 支持设置消息的延迟生效时间, 到达设置的生效时间时该消息才会被消费;适用于延时消费场景,如订单超时取消等;
- 7、事务性: 消费者开启事务开关后,消息事务性保证只会成功执行一次;
- 8、失败重试: 支持设置消息的重试次数, 在消息执行失败后将会按照设置的值进行消息重试执行,直至重试次数耗尽或者执行成功;
- 9、超时控制: 支持自定义消息超时时间,消息消费超时将会主动中断;
- 10、吞吐量: 依赖于部署的消费中心集群和DB性能;DB可借助多表提升性能,不考虑DB的情况下,吞吐量可以无限横向扩展;
- 11、消息可见: 系统中每一条消息可通过Web界面在线查看,甚至支持编辑消息内容和消息状态;
- 12、消息可追踪: 支持追踪每一条消息的执行路径, 便于排查业务问题;
- 13、容器化:提供官方docker镜像,并实时更新推送dockerhub,进一步实现产品开箱即用;
- 14、消息失败告警:支持以Topic粒度监控消息,存在失败消息时主动推送告警邮件;默认提供邮件方式失败告警,同时预留扩展接口,可方面的扩展短信、钉钉等告警方式;
- 15、容器化:提供官方docker镜像,并实时更新推送dockerhub,进一步实现产品开箱即用;