RocketMQ：死信队列和消息幂等

Posted 2023-04-24

参考技术A 上一篇 《RocketMQ：消息重试》 中我们提到当一条消息消费失败时，RocketMQ会进行一定次数的重试。重试的结果也很简单，无非就是在第N次重试时，被成功消费。或者就是经过M次重试后，仍然没有被消息。这通常是由于消费者在正常情况下无法正确地消费该消息。此时，RocketMQ不会立即将消息丢弃，而是将其发送到该消费者对应的特殊队列中去。

在RocketMQ中，这种正常情况下无法被消费的消息被称为死信消息（Dead-Letter Message），存储死信消息的特殊队列称为死信队列（Dead-Letter Queue）。

（1）死信消息具有以下特性：

（2）死信队列具有以下特性：

（1）在控制条查询出现死信队列的主题信息

（2）在消费界面根据主题查询死信消息

（3）选择重新发送消息

一条消息进入死信队列，意味着某些因素导致消费者无法正常消费该消息。因此，通常需要我们对其进行特殊处理。排查可疑因素并解决问题后，可以在消息队列 RocketMQ 控制台重新发送该消息，让消费者重新消费一次。

RocketMQ并不保证一条消息只会被推送一次，因此一条消息就有可能被消费多次。消费者在接收到消息以后，有必要根据业务上的唯一 Key 对消息做幂等处理的必要性。

在互联网应用中，尤其在网络不稳定的情况下，RocketMQ 的消息有可能会出现重复，这个重复简单可以概括为以下情况：

因为 Message ID 有可能出现冲突（重复）的情况，所以真正安全的幂等处理，不建议以 Message ID 作为处理依据。 最好的方式是以业务唯一标识作为幂等处理的关键依据，而业务的唯一标识可以通过消息 Key 进行设置：

消费方收到消息时可以根据消息的 Key 进行幂等处理：

RocketMQ的死信队列

死信队列用于处理无法被正常消费的消息。当一条消息初次消费失败，消息队列会自动进行消息重试；达到最大重试次数后，若消费依然失败，则表明消费者在正常情况下无法正确地消费该消息，此时，消息队列 不会立刻将消息丢弃，而是将其发送到该消费者对应的特殊队列中。

RocketMQ将这种正常情况下无法被消费的消息称为死信消息（Dead-Letter Message），将存储死信消息的特殊队列称为死信队列（Dead-Letter Queue），简称DLQ。如果消息延时级别小于0，那么也会立即放入死信队列。

死信队列中的消息需要人工干预，在RocketMQ中，可以通过使用console控制台对死信队列的权限更改为读写，然后对消息进行重发来或者订阅对应的Topic使得消费者实例再次进行消费。

RocketMQ会为每个消费组都设置一个Topic名称为 %DLQ%+consumerGroup 的死信队列。这里需要注意的是，和重试队列一样，这里的死信队列是针对消费组，而不是针对每个Topic设置的。死信队列并不会一开始就创建，而是真正需要使用到的时候才会创建。

版本3.4.9之后，可通过consumer 客户端参数maxReconsumeTimes设置最大重试次数，超过最大重试次数，消息将被转移到死信队列，有效范围是-1 – 16之间。maxReconsumeTimes默认-1，对于有序消费模式表示默认本地Integer.MAX_VALUE次重试消费，每次间隔1s；对于并发无序消费模式MessageListenerConcurrently，表示默认16次延时消费，默认从Level 3开始。

相关文章：

RocketMQ

如有需要交流，或者文章有误，请直接留言。另外希望点赞、收藏、关注，我将不间断更新各种Java学习博客！