RabbitMQ发布确认

Posted 2022-09-12 y我见青山多妩媚

4.1发布确认原理

​ 生产者将信道设置成confirm模式，一旦信道进入confirm模式，所有在该信道上面发布的消息都将会被指派一个唯一的ID（从1开始），一旦消息被投递到所有匹配的队列之后，broker就会发送一个确认给生产者(包含消息的唯一ID)，这就使得生产者知道消息已经正确到达目的队列了，如果消息和队列是可持久化的，那么确认消息会在将消息写入磁盘之后发出，broker回传给生产者的确认消息中delivery-tag域包含了确认消息的序列号，此外broker 也可以设置basic.ack的multiple域，表示到这个序列号之前的所有消息都已经得到了处理。
​ confirm模式最大的好处在于他是异步的，一旦发布一条消息，生产者应用程序就可以在等信道返回确认的同时继续发送下一条消息，当消息最终得到确认之后，生产者应用便可以通过回调方法来处理该确认消息，如果RabbitMQ因为自身内部错误导致消息丢失，就会发送一条nack消息，生产者应用程序同样可以在回调方法中处理该nack消息。

4.2发布确认的策略

4.2.1开启发布确认的方法

​ 发布确认默认是没有开启的，如果要开启需要调用confimSelect，每当你想要使用发布确认，都需要在channel上 调用该方法

Channel channel = connection.createChannel();
//开启发布确认
channel.confirmSelect();

4.2.2单个确认发布

​ 这是一种简单的确认方式，它是一种同步确认发布的方式，也就是发布一个消息之后只有它被确认发布之后，后续的消息才能继续发布, waitForConfirmsOrDie(long)这个方法只有在消息被确认的时候才返回，如果在指定时间范围内这个消息没有被确认那么它将抛出异常。

​ 这种确认方式有一个最大的缺点就是：发布速度特别的慢，因为如果没有确认发布的消息就会阻塞所有后续消息的发布，这种方式最多提供每秒不超过数百条发布消息的吞吐量。当然对于某些应用程序来说这可能已经足够了。

public class ConfirmMessage 
    /**
        发布信息数量
     */
    public static final int COUNT = 1000;



    public static void main(String[] args) throws Exception 
        publishMessageIndividual();
    
    
	public static void publishMessageIndividual() throws Exception 
        Channel channel = RabbitMqUtils.getChannel();
        //队列名称，随机获取
        String queueName = UUID.randomUUID().toString();

        channel.queueDeclare(queueName,false,false,false,null);

        //开启发布确认
        channel.confirmSelect();

        //开始时间
        long begin = System.currentTimeMillis();

        for (int i = 0; i < COUNT; i++) 
            String message = i+"";
            channel.basicPublish("",queueName,null,message.getBytes());
            //发布后马上进行发布确认
            boolean flag = channel.waitForConfirms();
            if(flag)
                System.out.println("消息发送成功:");
            
        

        //结束时间
        long end = System.currentTimeMillis();
        System.out.println("单个确认执行时间："+(end-begin)+"ms");  //单个确认执行时间：25409ms
    

4.2.3批量确认发布

public class ConfirmMessage 
    /**
        发布信息数量
     */
    public static final int COUNT = 1000;



    public static void main(String[] args) throws Exception 
        publishMessageBatch();
    
    
	public static void publishMessageBatch() throws Exception
        Channel channel = RabbitMqUtils.getChannel();
        //队列名称，随机获取
        String queueName = UUID.randomUUID().toString();

        channel.queueDeclare(queueName,false,false,false,null);

        //开启发布确认
        channel.confirmSelect();

        //开始时间
        long begin = System.currentTimeMillis();

        //批量发布确认大小（每隔多少条确认一次）
        int batchSize = 100;

        for (int i = 1; i <= COUNT; i++) 
            String message = i+"";
            channel.basicPublish("",queueName,null,message.getBytes());
            //发判断达到发布到100条消息时确认一次
            if(i%batchSize == 0)
                channel.waitForConfirms();
            

        
        //结束时间
        long end = System.currentTimeMillis();
        System.out.println("批量确认执行时间："+(end-begin)+"ms");  //批量确认执行时间：395ms
    

4.2.4异步确认发布

​ 异步确认虽然编程逻辑上比上两个要复杂，但是性价比最高，无论是可靠性还是效率都没的说，他是利用回调函数来达到消息可靠性传递的，这个中间件也是通过函数来保证是否投递成功，下面就让我们详细讲讲异步确认是怎么实现的

public class ConfirmMessage 
    /**
        发布信息数量
     */
    public static final int COUNT = 1000;

    public static void main(String[] args) throws Exception 
        publishMessageAsync();
    
    
	public static void publishMessageAsync() throws Exception
        Channel channel = RabbitMqUtils.getChannel();
        //队列名称，随机获取
        String queueName = UUID.randomUUID().toString();

        channel.queueDeclare(queueName,true,false,false,null);

        //开启发布确认
        channel.confirmSelect();

        //开始时间
        long begin = System.currentTimeMillis();

        //消息的监听器 监听哪些消息成功，哪些消息失败
        //监听消息发布成功的接口
        ConfirmCallback ackCallback = ( deliveryTag,  multiple)->
            System.out.println("确认的消息："+deliveryTag);
        ;

        //监听消息发布失败的接口
        ConfirmCallback nackCallback = ( deliveryTag,  multiple)->
            System.out.println("未确认的消息："+deliveryTag);
        ;


        /*
            异步通知：
            1、监听消息成功的接口
            2、监听消息失败的接口
         */
        channel.addConfirmListener(ackCallback,nackCallback);


        for (int i = 1; i <= COUNT; i++) 
            String message = i+"";
            channel.basicPublish("",queueName,null,message.getBytes());
        
        //结束时间
        long end = System.currentTimeMillis();
        System.out.println("批量确认执行时间："+(end-begin)+"ms"); //批量确认执行时间：57ms
    

4.2.5如何处理异步未确认消息

​ 最好的解决方法就是把未确认的消放到一个基于内存的能被发布的线程访问的队列，比如说用ConcurrentLinkedQueue这个队列在confirm callbacks与发布线程之间进行消息的传递

上面异步代码的改进：

public class ConfirmMessage 
    /**
        发布信息数量
     */
    public static final int COUNT = 1000;

    public static void main(String[] args) throws Exception 
        publishMessageAsync();
    
    
	public static void publishMessageAsync() throws Exception
        Channel channel = RabbitMqUtils.getChannel();
        //队列名称，随机获取
        String queueName = UUID.randomUUID().toString();

        channel.queueDeclare(queueName,true,false,false,null);

        //开启发布确认
        channel.confirmSelect();

        /*
            线程安全的有序hash 适用于高并发下
            1、将序号与消息进行关联
            2、轻松的批量删除条目 只要给到序号
            3、支持高并发
         */
        ConcurrentSkipListMap<Long,String> outstandingConfirm =
                new ConcurrentSkipListMap<>();


        //开始时间
        long begin = System.currentTimeMillis();

        //消息的监听器 监听哪些消息成功，哪些消息失败
        //监听消息发布成功的接口
        ConfirmCallback ackCallback = ( deliveryTag,  multiple)->
            //-----发送失败的处理：
            //-----2、删除掉已经确认的消息
            //如果是批量，就批量删除
            if(multiple)
                ConcurrentNavigableMap<Long, String> confirmed =
                        outstandingConfirm.headMap(deliveryTag);
                //批量删除
                confirmed.clear();
            else
                //单个删除
                outstandingConfirm.remove(deliveryTag);
            

            System.out.println("确认的消息："+deliveryTag);
        ;

        //监听消息发布失败的接口
        ConfirmCallback nackCallback = ( deliveryTag,  multiple)->
            //------3、打印未确认的消息都有哪些
            String message = outstandingConfirm.get(deliveryTag);
            System.out.println("未确认的消息："+message+",标记："+deliveryTag);
        ;


        /*
            异步通知：
            1、监听消息成功的接口
            2、监听消息失败的接口
         */
        channel.addConfirmListener(ackCallback,nackCallback);


        for (int i = 1; i <= COUNT; i++) 
            String message = i+"";
            channel.basicPublish("",queueName,null,message.getBytes());

            //-----发送失败的处理：
            //-----1、记录所有要发的消息，哪些消息失败了，第二步在监听成功的接口内
            //key为下一次发布的序号，rabbitmq自动生成的
            outstandingConfirm.put(channel.getNextPublishSeqNo(),message);
        
        //结束时间
        long end = System.currentTimeMillis();
        System.out.println("批量确认执行时间："+(end-begin)+"ms"); //批量确认执行时间：63ms
    

4.2.6三种发布时间对比

• 单个确认：同步等待确认，逻辑比较简单
• 批量确认：批量等待确认，合理的吞吐量，但是一旦出现问题，就不知道是哪条消息出现了问题
• 异步批量确认：最佳性能和资源使用，在出现错误的情况下可以很好的控制，但是使用起来比较难（性价比最高