09-rabbitMq-发布确认高级-springBoot版本

Posted 2021-10-28 快乐的小码农2号选手

在生产环境中由于一些不明原因，导致 rabbitmq 重启，在 RabbitMQ 重启期间生产者消息投递失败，导致消息丢失，需要手动处理和恢复。于是，我们开始思考，如何才能进行 RabbitMQ 的消息可靠投递呢？特别是在这样比较极端的情况，RabbitMQ 集群不可用的时候，无法投递的消息该如何处理呢？这就需要我们的rabbitMQ队列发布确认高级模式，消息投递失败的，是转发，转发失败，消息回退，缓存等等都是问题。

一、确认机制方案

1、确认机制方案

消息投递到我们交换机时，同时缓存我们的消息，一旦我们的消息被交换机接受，交换机就删除缓存中的数据，防止我们交换机宕机，我们的消息不会丢失。有点像我们的前面的发布确认的异步确认的形式。

此外我们需要实现我们的RabbitMQTemplate中的一个内部接口，这个接口就是用来发布确认使用的，实现其中的confirm方法，之后注入到我们的RabbitMq中，消息发布之后，无论成功与否都会自动的调用这个接口的实现类。

2、代码架构图

创建一个直接类型的交换机，和一个队列，是一个key1绑定

3、配置文件开启我们的发布确认机制

在配置文件当中需要添加

# 开启发布消息确认
# 推荐使用correlated，不是同步机制，是异步机制
# 不推荐SIMPLE，因为SIMPLE是同步确认机制会阻塞
# NONE 是默认的机制
spring.rabbitmq.publisher-confirm-type=correlated

参数解释：
⚫ NONE：禁用发布确认模式，是默认值
⚫ CORRELATED：发布消息成功到交换器后会触发回调方法 （推荐使用，异步的）
⚫ SIMPLE：经测试有两种效果，其一效果和 CORRELATED 值一样会触发回调方法，其二在发布消息成功后使用 rabbitTemplate 调用 waitForConfirms 或 waitForConfirmsOrDie 方法等待 broker 节点返回发送结果，根据返回结果来判定下一步的逻辑，要注意的点是waitForConfirmsOrDie 方法如果返回 false 则会关闭 channel，则接下来无法发送消息到 broker，就是我们前面讲过的同步确认机制，确认速度会非常慢，不推荐使用

4、添加我们的配置类

@Configuration
public class ConfirmConfig {
    // 发布确认交换机的名字
    public static final String CONFIRM_EXCHANGE_NAME = "confirm.exchange";
    // 备份交换机的名字
    public static final String BACKUP_EXCHANGE_NAME = "backup.exchange";

    // 发布确认队列名字
    public static final String CONFIRM_QUEUE_NAME = "confirm.queue";
    // 绑定备份交换机的备份队列
    public static final String BACKUP_QUEUE_NAME = "backup.queue";
    // 绑定备份交换机的警告队列（做的备份队例一样的事）
    public static final String WARNING_QUEUE_NAME = "warning.queue";

    // 确认交换机和确认队列的路由key
    public static final String CONFIRM_ROUTING_KEY = "key1";

    /**
     * 创建备份交换机，交换机类型为扇出类型 ，不需要路由key，
     * 因为我们的主交换机就是因为无法路由导致消息不能投递到我们的队列消费，所以备份交换机直接就是扇形的不需要我们的路由key
     */
    @Bean
    public FanoutExchange backupExchange() {
        return new FanoutExchange(BACKUP_EXCHANGE_NAME);
    }

    /**
     * 创建发布确认交换机
     * 因为我们设置了我们交换机无法路由队列时，消息需要转投送到我们的备份交换机，
     * 因为我们备份交换机是一个扇出类型，能保证我们的消息一定会被投递到队列（还是开发者聪明）（有点像死信队列）
     * 需要我们创建确认交换机设置参数指定消息转投到我们的备份交换机
     */
    @Bean
    public DirectExchange confirmExchange() {
        return ExchangeBuilder  // 使用交换机构造器
                .directExchange(CONFIRM_EXCHANGE_NAME)  // 创建直接交换机
                .alternate(BACKUP_EXCHANGE_NAME) // 设置备份交换机的名字
                .build(); // 构建
    }

    /**
     * 创建确认队列
     *
     * @return
     */
    @Bean
    public Queue confirmQueue() {
        return QueueBuilder.durable(CONFIRM_QUEUE_NAME).build();
    }

    /**
     * 创建备份队列
     */
    @Bean
    public Queue backupQueue() {
        return QueueBuilder.durable(BACKUP_QUEUE_NAME).build();
    }

    /**
     * 创建警告交换机
     */
    @Bean
    public Queue warningQueue() {
        return QueueBuilder.durable(WARNING_QUEUE_NAME).build();
    }

    /**
     * 绑定确认交换机和我们的确认队列
     *
     * @param confirmExchange
     * @param confirmQueue
     */
    @Bean
    public Binding queueBinding(@Qualifier("confirmExchange") DirectExchange confirmExchange,
                                @Qualifier("confirmQueue") Queue confirmQueue) {
        return BindingBuilder.bind(confirmQueue).to(confirmExchange).with(CONFIRM_ROUTING_KEY);
    }

    /**
     * 绑定我们的备份交换机和我们的备份队列
     */
    @Bean
    public Binding backupBinding(@Qualifier("backupExchange") FanoutExchange backupExchange,
                                 @Qualifier("backupQueue") Queue backupQueue) {
        return BindingBuilder.bind(backupQueue).to(backupExchange);
    }

    /**
     * 绑定我们的备份交换机和我们的警告队列
     */
    @Bean
    public Binding warningBinding(@Qualifier("backupExchange") FanoutExchange backupExchange,
                                  @Qualifier("warningQueue") Queue warningQueue) {
        return BindingBuilder.bind(warningQueue).to(backupExchange);
    }
}

5、回调接口实现类

@Slf4j
@Component
public class MyCallBack implements RabbitTemplate.ConfirmCallback, RabbitTemplate.ReturnCallback {

    // 我们实现的 RabbitTemplate.ConfirmCallback 接口，是一个内部接口，需要我们手动设置一下内部接口的实现类
    // 注入我们的RabbitTemplate 设置内部的接口实现方法
    @Autowired
    private RabbitTemplate rabbitTemplate;

    /**
     * @PostConstruct 该注解被用来修饰一个非静态的void（）方法。
     * 被@PostConstruct修饰的方法会在服务器加载Servlet的时候运行，并且只会被服务器执行一次。
     * @PostConstruct 在构造函数之后执行，init（）方法之前执行。
     * 执行顺序，最后才执行我们的postConstruct
     * Constructor(构造方法) -> @Autowired(依赖注入) -> @PostConstruct(注释的方法)
     */
    @PostConstruct
    private void init() {
        // 设置内部接口的实现类
        rabbitTemplate.setConfirmCallback(this);
        rabbitTemplate.setReturnCallback(this);
    }

    /**
     * 交换机不管是否收到消息的一个回调方法
     *
     * @param correlationData 是我们生产者发布消息时，指明的（包含了消息的相关数据）
     * @param ack             交换机是否收到消息，交换机收到消息，ack=true ,交换机未收到消息ack=false
     * @param cause           交换机成功或者失败接受到消息的原因 ，交换机收到消息，cause=null ,交换机未收到消息cause=消息失败的原因
     */
    @Override
    public void confirm(CorrelationData correlationData, boolean ack, String cause) {
        // 获取消息的id
        String id = correlationData != null ? correlationData.getId() : "";
        // 交换机收到消息
        if (ack) {
            log.info("交换机已经收到 id 为:{}的消息", id);
        } else {
            // 交换机没有收到消息
            log.error("交换机还未收到 id 为:{}消息,由于原因:{}", id, cause);
        }
    }

    /**
     * 交换机无法路由我们的消息时，设置回退消息的调用接口实现类
     * 注意：但是当我们同配置了消息转发到备份交换机时，我们就会失效，
     * 只有当我们的备份交换机也失效时，才会执行消息回退
     *
     *
     * @param message    退回的消息
     * @param replyCode  失败状态码
     * @param replyText  退回的原因
     * @param exchange   交换机名字
     * @param routingKey 路由key
     */
    @Override
    public void returnedMessage(Message message, int replyCode, String replyText, String exchange, String routingKey) {
        log.error(" 消 息 {}, 被交换机 {} 退回，退回原因 :{}, 路 由 key:{}", new
                String(message.getBody()), exchange, replyText, routingKey);
    }
}

6、消息生产者

/**
     * 发送确认消息
     *
     * @param message
     */
    @ApiOperation("发送确认消息")
    @GetMapping("/sendConfirmMsg/{message}")
    public void sendConfirmMsg(@PathVariable String message) {
        // 创建CorrelationData对象设置，消息有关的数据，用于回调接口使用
        CorrelationData correlationData1 = new CorrelationData("1");
        // 1、发送消息1
        rabbitTemplate.convertAndSend(ConfirmConfig.CONFIRM_EXCHANGE_NAME, ConfirmConfig.CONFIRM_ROUTING_KEY, message, correlationData1);
        // 2、发送交换机不存在的消息，测试接口回调
        CorrelationData correlationData2 = new CorrelationData("2");
        rabbitTemplate.convertAndSend(ConfirmConfig.CONFIRM_EXCHANGE_NAME + "123", ConfirmConfig.CONFIRM_ROUTING_KEY, message, correlationData2);
        // 3、发送队列不存在的消息，测试消息退回机制
        CorrelationData correlationData3 = new CorrelationData("3");
        rabbitTemplate.convertAndSend(ConfirmConfig.CONFIRM_EXCHANGE_NAME, ConfirmConfig.CONFIRM_ROUTING_KEY + "1", message, correlationData3);
    }
}

7、消息消费者

/**
     * 监听确认队列的消费者
     *
     * @param message
     */
    @RabbitListener(queues = ConfirmConfig.CONFIRM_QUEUE_NAME)
    public void receiveMsg(Message message) {
        String msg = new String(message.getBody());
        log.info("接受到队列 confirm.queue 消息:{}", msg);
    }

8、结果演示分析

可以看到，发送了两条消息，第一条消息的 RoutingKey 为 “key1”，第二条消息的 RoutingKey 为"key2"，两条消息都成功被交换机接收，也收到了交换机的确认回调，但消费者只收到了一条消息，因为第二条消息的 RoutingKey 与队列的 BindingKey 不一致，也没有其它队列能接收这个消息，所有第二条消息被直接丢弃了。

二、回退消息（对上面的优化）

1、Mandatory 参数

在仅开启了生产者确认机制的情况下，交换机接收到消息后，会直接给消息生产者发送确认消息，如果发现该消息不可路由，那么消息会被直接丢弃，此时生产者是不知道消息被丢弃这个事件的。那么如何让无法被路由的消息帮我想办法处理一下？最起码通知我一声，我好自己处理啊。通过设置 mandatory 参数可以在当消息传递过程中不可达目的地时将消息返回给生产者。

2、回调接口实现消息退回接口

实现我们的RabbitTemplate.ReturnCallback接口，用户消息回退

@Slf4j
@Component
public class MyCallBack implements RabbitTemplate.ConfirmCallback, RabbitTemplate.ReturnCallback {
    @Autowired
    private RabbitTemplate rabbitTemplate;
    @PostConstruct
    private void init() {
        // 设置内部接口的实现类
        rabbitTemplate.setReturnCallback(this);
    }
    /**
     * 交换机无法路由我们的消息时，设置回退消息的调用接口实现类
     * 注意：但是当我们同配置了消息转发到备份交换机时，我们就会失效，
     * 只有当我们的备份交换机也失效时，才会执行消息回退
     *
     *
     * @param message    退回的消息
     * @param replyCode  失败状态码
     * @param replyText  退回的原因
     * @param exchange   交换机名字
     * @param routingKey 路由key
     */
    @Override
    public void returnedMessage(Message message, int replyCode, String replyText, String exchange, String routingKey) {
        log.error(" 消 息 {}, 被交换机 {} 退回，退回原因 :{}, 路 由 key:{}", new
                String(message.getBody()), exchange, replyText, routingKey);
    }
}

3、配置文件配置消息回退机制

# 开启消息回退机制 ,即交换机无法路由队列时，我们退回消息给我们生产者
spring.rabbitmq.publisher-returns=true

4、生产者

/**
     * 发送确认消息
     *
     * @param message
     */
    @ApiOperation("发送确认消息")
    @GetMapping("/sendConfirmMsg/{message}")
    public void sendConfirmMsg(@PathVariable String message) {
        // 创建CorrelationData对象设置，消息有关的数据，用于回调接口使用
        CorrelationData correlationData1 = new CorrelationData("1");
        // 1、发送消息1
        rabbitTemplate.convertAndSend(ConfirmConfig.CONFIRM_EXCHANGE_NAME, ConfirmConfig.CONFIRM_ROUTING_KEY, message, correlationData1);
        // 2、发送交换机不存在的消息，测试接口回调
        CorrelationData correlationData2 = new CorrelationData("2");
        rabbitTemplate.convertAndSend(ConfirmConfig.CONFIRM_EXCHANGE_NAME + "123", ConfirmConfig.CONFIRM_ROUTING_KEY, message, correlationData2);
        // 3、发送队列不存在的消息，测试消息退回机制
        CorrelationData correlationData3 = new CorrelationData("3");
        rabbitTemplate.convertAndSend(ConfirmConfig.CONFIRM_EXCHANGE_NAME, ConfirmConfig.CONFIRM_ROUTING_KEY + "1", message, correlationData3);
    }

5、结果分析

三、备份交换机（对上面进一步优化）

1、原理简介

有了 mandatory 参数和回退消息，我们获得了对无法投递消息的感知能力，有机会在生产者的消息无法被投递时发现并处理。但有时候，我们并不知道该如何处理这些无法路由的消息，最多打个日志，然后触发报警，再来手动处理。而通过日志来处理这些无法路由的消息是很不优雅的做法，特别是当生产者所在的服务有多台机器的时候，手动复制日志会更加麻烦而且容易出错。
而且设置 mandatory 参数会增加生产者的复杂性，需要添加处理这些被退回的消息的逻辑。如果既不想丢失消息，又不想增加生产者的复杂性，该怎么做呢？前面在设置死信队列的文章中，我们提到，可以为队列设置死信交换机来存储那些处理失败的消息，可是这些不可路由消息根本没有机会进入到队列，因此无法使用死信队列来保存消息。
在 RabbitMQ 中，有一种备份交换机的机制存在，可以很好的应对这个问题。什么是备份交换机呢？备份交换机可以理解为 RabbitMQ 中交换机的“备胎”，当我们为某一个交换机声明一个对应的备份交换机时，就是为它创建一个备胎，当交换机接收到一条不可路由消息时，将会把这条消息转发到备份交换机中，由备份交换机来进行转发和处理，通常备份交换机的类型为 Fanout ，这样就能把所有消息都投递到与其绑定的队列中，然后我们在备份交换机下绑定一个队列，这样所有那些原交换机无法被路由的消息，就会都进入这个队列了。当然，我们还可以建立一个报警队列，用独立的消费者来进行监测和报警。

2、代码架构图

3、添加我们的备份交换机和备份队列

/**
     * 创建备份交换机，交换机类型为扇出类型 ，不需要路由key，
     * 因为我们的主交换机就是因为无法路由导致消息不能投递到我们的队列消费，所以备份交换机直接就是扇形的不需要我们的路由key
     */
    @Bean
    public FanoutExchange backupExchange() {
        return new FanoutExchange(BACKUP_EXCHANGE_NAME);
    }

/**
     * 创建备份队列
     */
    @Bean
    public Queue backupQueue() {
        return QueueBuilder.durable(BACKUP_QUEUE_NAME).build();
    }

    /**
     * 创建警告交换机
     */
    @Bean
    public Queue warningQueue() {
        return QueueBuilder.durable(WARNING_QUEUE_NAME).build();
    }

 /**
     * 绑定我们的备份交换机和我们的备份队列
     */
    @Bean
    public Binding backupBinding(@Qualifier("backupExchange") FanoutExchange backupExchange,
                                 @Qualifier("backupQueue") Queue backupQueue) {
        return BindingBuilder.bind(backupQueue).to(backupExchange);
    }

    /**
     * 绑定我们的备份交换机和我们的警告队列
     */
    @Bean
    public Binding warningBinding(@Qualifier("backupExchange") FanoutExchange backupExchange,
                                  @Qualifier("warningQueue") Queue warningQueue) {
        return BindingBuilder.bind(warningQueue).to(backupExchange);
    }

4、修改我们的确认交换机设置备份交换机信息

/**
     * 创建发布确认交换机
     * 因为我们设置了我们交换机无法路由队列时，消息需要转投送到我们的备份交换机，
     * 因为我们备份交换机是一个扇出类型，能保证我们的消息一定会被投递到队列（还是开发者聪明）（有点像死信队列）
     * 需要我们创建确认交换机设置参数指定消息转投到我们的备份交换机
     */
    @Bean
    public DirectExchange confirmExchange() {
        return ExchangeBuilder  // 使用交换机构造器
                .directExchange(CONFIRM_EXCHANGE_NAME)  // 创建直接交换机
                .alternate(BACKUP_EXCHANGE_NAME) // 设置备份交换机的名字
                .build(); // 构建
    }

5、消费者

 /**
     * 监听备份确认队列的消费者
     *
     * @param message
     */
    @RabbitListener(queues = ConfirmConfig.BACKUP_QUEUE_NAME)
    public void receiveMsg1(Message message) {
        String msg = new String(message.getBody());
        log.info("接受到备份队列 backup.queue 消息:{}", msg);
    }

    /**
     * 监听警告确认队列的消费者
     *
     * @param message
     */
    @RabbitListener(queues = ConfirmConfig.WARNING_QUEUE_NAME)
    public void receiveMsg2(Message message) {
        String msg = new String(message.getBody());
        log.info("接受到警告队列 warning.queue 消息:{}", msg);
    }

6、效果演示

四、消息回退和备份交换同时开启优先级问题分析

mandatory 参数与备份交换机可以一起使用的时候，如果两者同时开启，备份交换机优先级高，当我们的备份交换机同样失败的投递消息时，才会执行消息回退。