RabbitMQ常见疑难问题

Posted 2020-12-10

一.消息队列消息堆积如何处理？

当消息产生的速度长时间远远大于消费的速度的时候，就会产生消息的堆积。

消息堆积的影响：

• 1.新消息可能无法进入MQ。
• 2.旧消息无法丢失。
• 3.等待消费的时间过长，超出业务的容忍范围。

产生堆积可能的因素：

• 1.生产者大量发布消息
• 2.消费者消费失败，没有ack自动应答。
• 3.消费者可能出现性能瓶颈。
• 4.消费服务挂掉。

解决思路：

• 1.排查消费者运行效率、性能问题。
• 2.消费者多线程处理。
• 3.增加更多的消费者。

处理过程：

新生产的消息转移到新的队列，增加新的服务器部署新的消费者来消费。
原来的消息队列的消息可以继续慢慢消费。

二、消息丢失怎么办？

消息流经过程 —>生产者—>队列—>消费者

1.生产者环节丢失消息

场景：生产者在投递消息过程中，突遇断网可能丢失消息。

解决方案：生产者在消息投递环节开启消息确认机制（事物或者comfirm），发送失败时候重试。

2.队列中丢失消息

场景：队列服务宕机、重启，消息丢失。

解决方案：投递消息的时候，交换机、队列、消息都设置为持久化durable=true

3.消费者中丢失消息

场景：消费者启用了自动应答，消费者服务挂掉。
解决方案：通道设置每次只处理一条消息，关闭消费者自动应答，消费完成手动应答。

三、有序消费

情形1:多条不幂等消息如消息1、消息2、消息3，采用worker模式投递，由于worker模式的消费者是竞争者关系，拿到的消息顺序是有问题的。

解决方案:将消息1、消息2、消息3分别投递进不同队列，每个队列对应一个消费者

情形2：消费者开启了多线程

解决方案：消息队列分配消息后，创建多个内存队列，每个线程消费者去消费内存队列里面的消息

四、消息重复消费

出现原因：消费者消息消息的时候，MQ没有收到消息的ack应答。

场景：

• 1.消费者消费消息后没有ack。
• 2.消费者在消费消息后，ack时网络异常。

解决步骤：

1. 消费者消费后，记录通过缓存记录消息的消费标识，消息id如redis的setnx
2. 如果消费成功且ack成功，则删除记录的消息标记。
3. 如果ack失败，消息下次被消费消息时候，先去查询消息的消费标识，已经消费则直接ack，未消费则继续消费。

概念：

消息幂等性：消息无论怎么执行都是同样结果。
非幂等性案例：扣款、扣库存、添加数据。