去哪儿网正式开源内部使用的消息中间件 QMQ

Posted 2021-04-10 头哥程序员

去哪儿网近日宣布开源其内部广泛使用的消息中间件 QMQ 。QMQ 自2012年诞生以来在去哪儿网所有业务场景中广泛的应用，包括跟交易息息相关的订单场景； 也包括报价搜索等高吞吐量场景。目前在公司内部日常消息 qps 在 60W 左右，生产上承载将近 4W+ 消息 topic ，消息的端到端延迟可以控制在 10ms 以内。

QMQ 主要提供以下特性：

• 异步实时消息

• 延迟/定时消息

• 基于 Tag 的服务端过滤

• Consumer 端幂等处理支持

• Consumer 端 filter

• 死信消息

• 结合 Spring annotation 使用的简单 API

• 提供丰富的监控指标

• 接入 OpenTracing

• 分布式事务(即将开源)

• 消息投递轨迹(即将开源)

• 历史消息的自动备份(即将开源)

架构概览 

下图是 QMQ 中各组件及其交互图:

• meta server 提供集群管理和集群发现的作用

• server 提供实时消息服务

• delay server 提供延时/定时消息服务，延时消息先在 delay server 排队，时间到之后再发送给 server

• producer 消息生产者

• consumer 消息消费者

根据图中的编号描述一下其交互过程

1. delay server 向 meta server注册

2. 实时 server 向 meta server注册

3. producer 在发送消息前需要询问 meta server 获取 server list

4. meta server 返回 server list 给 producer (根据 producer 请求的消息类型返回不同的 server list )

5. producer 发送延时/定时消息

6. 延时时间已到，delay server 将消息投递给实时 server

7. producer 发送实时消息

8. consumer 需要拉取消息，在拉取之前向 meta server 获取 server list (只会获取实时 server 的 list )

9. meta server 返回 server list 给 consumer

10. consumer 向实时 server 发起 pull 请求

11. 实时 server 将消息返回给 consumer