RabbitMQ延时队列的实现原理和应用实例

Posted 梅西库里RNG

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了RabbitMQ延时队列的实现原理和应用实例相关的知识,希望对你有一定的参考价值。

一、延时队列应用场景

二、RabbitMQ实现原理

1、RabbitMQ 中的 TTL

TTL 是 RabbitMQ 中一个消息或者队列的属性,表明一条消息或者该队列中的所有消息的最大存活时间,单位是毫秒。
目前有两种方法可以设置消息的 TTL:
第一种方法是通过队列属性设置,队列中所有消息都有相同的过期时间;
第二种方法是对消息本身进行单独设置,每条消息的 TTL 可以不同。
如果两种方法一起使用,则消息的 TTL 以两者之间较小的那个数值为准。

2、死信(Dead Letter)队列

“死信”是RabbitMQ中的一种消息机制,当你在消费消息时,如果队列里的消息出现以下情况:

1)消息被否定确认,使用 channel.basicNack 或 channel.basicReject ,并且此时requeue 属性被设置为false。
2)消息在队列的存活时间超过设置的TTL时间。
3)消息队列的消息数量已经超过最大队列长度。

那么该消息将成为“死信”。

“死信”消息会被RabbitMQ进行特殊处理,如果配置了死信队列信息,那么该消息将会被丢进死信队列中,如果没有配置,则该消息将会被丢弃。

3、应用RabbiMQ死信,实现延时队列功能

1)给消息m设置TTL,通过一个普通交换机X1路由到一个普通队列Q1;
2)这个普通队列Q1并没有配置消费者,但Q1事先配置了一个死信交换机X2,当TTL时间到了之后、消息m变成死信,就会被丢到死信交互机X2中;
3)X2会将消息m路由到对应的队列、也叫死信队列Q2中,Q2事先配置了消费者C,这样消息m就会被投递到消费者那里。

总结一下:消息m,发送到rabbitmq后,经过了设置的ttl时间,被投递到消费者C那里。

这时,也许有小伙伴会说,这有什么,不就是一个简单的定时吗?
非也、非也,我们说一个需求场景,帮助大家理解:假设商城要做拼团活动功能,你的任务是在活动开始时间,给发起人发一个消息,很简单明了的一个功能。
发短信功能简单,这个需求的关键,是在活动开始时要触发发短信接口,也就是活动开始时你要能感知到;注意啊、是活动开始时间,不是活动创建时间,我完全可以创建一个2天后开始的拼团活动,所以肯定不能在创建活动时调用发短信接口。
这时你会说,这还不简单,创建活动时根据开始时间与当前时间的差值,设置一个定时器不就可以了?
你仔细想一下,活动有很多个,活动的开始时间千变万化,难道你要为每一个活动创建一个定时器吗?这显然不可能。
当然,定时器配合数据库表,可以实现动态配置;这样做是可以,但一来这样做费老鼻子劲儿了,二来这么多同时运行的定时器,对系统性能的耗费是巨大的,为了这么一个小功能显然得不偿失。
这时你再看rabbimq的延时队列,是不是怎么看怎么顺眼?可靠,又因为是中间件耦合性小,写成延时功能后可以像工具方法一样到处使用,高可用、但对系统性能牺牲却很小,完美。
在多说一点,RabbitMQ除了支持给消息设置TTL,还支持给队列设置TTL;但是给队列设置TTL和普通的定时器一样,不能重复使用,所以也就不多说了。

4、延时消息插件rabbitmq_delayed_message_exchange

1)rabbitmq_delayed_message_exchange插件的介绍和使用方法

3中讲述的延时队列模型有一个问题,比如我们给队列Q1中发送了两个消息,第一个是5天后执行(即TTL等于5天的毫秒值)的消息m1,第二个是2天后执行的消息m2;结果你执行后发现,消息m1和m2都是5天后收到的、这就是说消息m2并没有被按时发送。
这是由于,rabbitmqRabbitMQ 只会检查第一个消息是否过期,如果前边的消息TTL比后边的大,那么后面的消息即使已经超时也不能变成死信、也就不能按时投递到消费者了。
为了更方便的实现延时队列功能,RabbitMQ提供了rabbitmq_delayed_message_exchange插件;需要开发者自己进行安装。
这个插件,相当于提供了一个新类型的交换机,所以插件安装成功后,在rabbitmq控制台页面,查看exchange类型,如果出现x-delayed-message类型的选项

a)实现机制

x-delayed-message类型的交换机支持延迟投递机制,消息传到交换机后、并不会立即投递到目标队列中,而是存储在 mnesia(一个分布式数据系统)表中,当达到投递时间时,才投递到目标队列中

b)使用方法

因为x-delayed-message类型的交换机支持延迟投递机制,所以rabbitmq延时队列模型得到简化
我们只需要新建一个死信队列与x-delayed-message类型的交换机进行绑定,即可实现上面3中的延时队列功能。
需要注意:用户必须使用名为x-delay的特殊header,向交换机发布延迟消息,该header需要一个整数,表示RabbitMQ应延迟消息的毫秒数。

rabbitTemplate.convertAndSend(TimeTriggerConfig.DELAYED_EXCHANGE_XDELAY, TimeTriggerConfig.DELAY_ROUTING_KEY_XDELAY, timeTriggerMsg, message -> 
            Long current = DateUtil.getDateline();
            //设置延时时间,目标时间多5秒
            Long time = (triggerTime - current) * 1000 + 5000 ;
                message.getMessageProperties().setHeader("x-delay", time);
            return message;
        );

c)优缺点

插件优点:
不需要为延迟消息单独创建路由、交换器、队列;

插件缺点:
1、不支持对已发送消息进行管理,只能在Web管理页面查看发送的数量DM;
2、集群中只有一个副本(保存在当前节点下的Mnesia表中),如果节点不可用或关闭插件会丢失消息;
3、目前该插件只支持disk节点,不支持ram节点;
4、性能比原生的差一点(普通的Exchange收到消息后直接路由到队列,而延迟队列需要判断消息是否过期,未过期的需要保存在表中,时间到了再捞出来路由);

2)rabbitmq_delayed_message_exchange插件的安装

三、应用实例——生产者

1、延时任务接口(消息生产者使用的接口)

这里生产者模块化为一个接口,我觉得直接写一个类也可以,因为这个接口只有一个实现。

注意下面延时队列触发器的add方法,第一个参数executerName。因为之后消息消费者,调用执行接口是高可用的设计,即执行接口有多个实现,所以这里将本次使用延时队列需要调用的实现类的BeanId、也就是首字母小写的类名(默认是这样,有配置另说)放入消息体传过去;这样执行器执行前,先通过ApplicationContext类的getBean(beanId);方法得到一个指定执行器实现的对象。这个地方,正是本延时队列、代码高可用设计的关键所在。

/**
 * 延时执行接口
 */
public interface TimeTrigger 

    /**
     * 添加延时任务
     *
     * @param executerName 执行器beanid
     * @param param        执行参数
     * @param triggerTime  执行时间 时间戳 秒为单位
     * @param uniqueKey    如果是一个 需要有 修改/取消 延时任务功能的延时任务,<br/>
     *                     请填写此参数,作为后续删除,修改做为唯一凭证 <br/>
     *                     建议参数为:PINTUAZN_ACTIVITY_ID 例如 pintuan_123<br/>
     *                     业务内全局唯一
     */
    void add(String executerName, Object param, Long triggerTime, String uniqueKey);

    /**
     * 修改延时任务
     *
     * @param executerName   执行器beanid
     * @param param          执行参数
     * @param triggerTime    执行时间 时间戳 秒为单位
     * @param oldTriggerTime 旧的任务执行时间
     * @param uniqueKey      添加任务时的唯一凭证
     */
    void edit(String executerName, Object param, Long oldTriggerTime, Long triggerTime, String uniqueKey);

    /**
     * 删除延时任务
     *
     * @param executerName 执行器
     * @param triggerTime  执行时间
     * @param uniqueKey    添加任务时的唯一凭证
     */
    void delete(String executerName, Long triggerTime, String uniqueKey);

2、延时任务接口实现(消息生产者使用的接口实现)

/**
 * 延时任务生产 rabbitmq实现
 *
 * @Description: 原理:利用amqp的死信队列的超时属性,将超时的任务转到普通队列交给消费者执行。
 * 添加任务,将任务执行标识、beanid、执行时间,hash值存入redis,标识任务需要执行
 * 任务编辑,将之前的标识删除,重新添加任务
 * 添加删除,删除redis中的任务标识,消费者执行时获取不到 redis中的标识,则不会执行延时任务
 */
@Component
public class RabbitmqTimeTrigger implements TimeTrigger 

    /**
     * 引入rabbit的操作模板
     */
    @Autowired
    private RabbitTemplate rabbitTemplate;

    @Autowired
    private Cache cache;


    private final Logger logger = LoggerFactory.getLogger(getClass());


    /**
     * 添加延时任务
     *
     * @param executerName 执行器
     * @param param        执行参数
     * @param triggerTime  执行时间
     * @param uniqueKey    如果是一个 需要有 修改/取消 延时任务功能的延时任务,<br/>
     *                     请填写此参数,作为后续删除,修改做为唯一凭证 <br/>
     *                     建议参数为:PINTUAZN_ACTIVITY_ID 例如 pintuan_123<br/>
     *                     业务内全局唯一
     */
    @Override
    public void add(String executerName, Object param, Long triggerTime, String uniqueKey) 

        if (StringUtil.isEmpty(uniqueKey)) 
            uniqueKey = StringUtil.getRandStr(10);
        
        //标识任务需要执行
        cache.put(RabbitmqTriggerUtil.generate(executerName, triggerTime, uniqueKey), 1);

        TimeTriggerMsg timeTriggerMsg = new TimeTriggerMsg(executerName, param, triggerTime, uniqueKey);
        logger.debug("定时执行在【" + DateUtil.toString(triggerTime, "yyyy-MM-dd HH:mm:ss") + "】,消费【" + param.toString() + "】");
        rabbitTemplate.convertAndSend(TimeTriggerConfig.DELAYED_EXCHANGE_XDELAY, TimeTriggerConfig.DELAY_ROUTING_KEY_XDELAY, timeTriggerMsg, message -> 

            Long current = DateUtil.getDateline();
            //如果执行的延时任务应该是在现在日期之前执行的,那么补救一下,要求系统一秒钟后执行
            if (triggerTime < current) 
                message.getMessageProperties().setDelay(1000);
             else 
                Long time = (triggerTime - current) * 1000 + 5000 ;
                message.getMessageProperties().setHeader("x-delay", time);
            
            logger.debug("还有【" + message.getMessageProperties().getExpiration() + "】执行任务");

            return message;
        );
    

    /**
     * 修改延时任务
     *
     * @param executerName 执行器
     * @param param        执行参数
     * @param triggerTime  执行时间
     * @param uniqueKey    添加任务时的唯一凭证
     */
    @Override
    public void edit(String executerName, Object param, Long oldTriggerTime, Long triggerTime, String uniqueKey) 

        //标识任务放弃
        cache.remove(RabbitmqTriggerUtil.generate(executerName, oldTriggerTime, uniqueKey));
        //重新添加任务
        this.add(executerName, param, triggerTime, uniqueKey);
    

    /**
     * 删除延时任务
     *
     * @param executerName 执行器
     * @param triggerTime  执行时间
     * @param uniqueKey    添加任务时的唯一凭证
     */
    @Override
    public void delete(String executerName, Long triggerTime, String uniqueKey) 
        cache.remove(RabbitmqTriggerUtil.generate(executerName, triggerTime, uniqueKey));
    

3、其中一个生产者的具体实例

/**
 * 拼团业务类
 */
@Service
public class PintuanManagerImpl implements PintuanManager 

    @Autowired
    private PintuanMapper pintuanMapper;
    ...
    
//只记录消息生产部分代码
	@Override
    @Transactional(value = "tradeTransactionManager", propagation = Propagation.REQUIRED, rollbackFor = Exception.class)
    public Pintuan add(Pintuan pintuan) 
        //检测开始时间和结束时间
        PromotionValid.paramValid(pintuan.getStartTime(), pintuan.getEndTime(), 1, null);
        this.verifyParam(pintuan.getStartTime(), pintuan.getEndTime());
        pintuan.setStatus(PromotionStatusEnum.WAIT.name());
        pintuan.setSellerName(UserContext.getSeller().getSellerName());
        pintuan.setCreateTime(DateUtil.getDateline());
        pintuan.setSellerId(UserContext.getSeller().getSellerId());
        //可操作状态为nothing,代表活动不可以执行任何操作
        pintuan.setOptionStatus(PintuanOptionEnum.NOTHING.name());
        this.pintuanMapper.insert(pintuan);

        //创建活动 启用延时任务,活动开始时启动拼团
        PintuanChangeMsg pintuanChangeMsg = new PintuanChangeMsg();
        pintuanChangeMsg.setPintuanId(pintuan.getPromotionId());
        pintuanChangeMsg.setOptionType(1);
        timeTrigger.add(TimeExecute.PINTUAN_EXECUTER, pintuanChangeMsg, pintuan.getStartTime(), TRIGGER_PREFIX + pintuan.getPromotionId());

        return pintuan;
    


四、应用实例——消费者

1、消费者

/**
 * 延时任务 消息消费者
 */
@Component
public class TimeTriggerConsumer 


    private final Logger logger = LoggerFactory.getLogger(getClass());


    @Autowired
    private Cache cache;

    /**
     * 接收消息,监听 CONSUMPTION_QUEUE 队列
     */
    @RabbitListener(queues = TimeTriggerConfig.IMMEDIATE_QUEUE_XDELAY)
    public void consume(TimeTriggerMsg timeTriggerMsg) 

        try 
            String key = RabbitmqTriggerUtil.generate(timeTriggerMsg.getTriggerExecuter(), timeTriggerMsg.getTriggerTime(), timeTriggerMsg.getUniqueKey());

            //如果这个任务被标识不执行
            if (cache.get(key) == null) 

                logger.debug("执行器执行被取消:" + timeTriggerMsg.getTriggerExecuter() + "|任务标识:" + timeTriggerMsg.getUniqueKey());
                return;
            
            logger.debug("执行器执行:" + timeTriggerMsg.getTriggerExecuter());
            logger.debug("执行器参数:" + JsonUtil.objectToJson(timeTriggerMsg.getParam()));

            //执行任务前 清除标识
            cache.remove(key);

            TimeTriggerExecuter timeTriggerExecuter = (TimeTriggerExecuter) ApplicationContextHolder.getBean(timeTriggerMsg.getTriggerExecuter());
            timeTriggerExecuter.execute(timeTriggerMsg.getParam());

         catch (Exception e) 
            logger.error("延时任务异常:", e);
        
    


2、消费者调用接口

/**
 * 延时任务执行器接口
 */
public interface TimeTriggerExecuter 


    /**
     * 执行任务
     * @param object 任务参数
     */
    void execute(Object object);


接口高可用、解耦合,有多个实现,用以支持不同的模块使用延时队列功能

3、其中一个实现的具体操作,第一步都是将泛型类转成一个具体的、特定的实体类对象

/**
 * 拼团定时开启关闭活动 延时任务执行器
 */
@Component("pintuanTimeTriggerExecute")
public class PintuanTimeTriggerExecuter implements TimeTriggerExecuter 

    @Autowired
    private TimeTrigger timeTrigger;

    @Autowired
    private PintuanClient pintuanClient;

    private final Logger logger = LoggerFactory.getLogger(getClass());

    /**
     * 执行任务
     */
    @Override
    public void execute(Object object) 
        PintuanChangeMsg pintuanChangeMsg = (PintuanChangeMsg) object;

        //如果是要开启活动
        if (pintuanChangeMsg.getOptionType() == 1) 
            Pintuan pintuan = pintuanClient.getModel(pintuanChangeMsg.getPintuanId());
            if (PromotionStatusEnum.WAIT.name().equals(pintuan.getStatus()) ||
                    (PromotionStatusEnum.END.name().equals(pintuan.getStatus()) && PintuanOptionEnum.CAN_OPEN.name().equals(pintuan.getOptionStatus()))) 
                pintuanClient.openPromotion(pintuanChangeMsg.getPintuanId());
                //开启活动后,立马设置一个关闭的流程
                pintuanChangeMsg.setOptionType(0);
                timeTrigger.add(TimeExecute.PINTUAN_EXECUTER, pintuanChangeMsg, pintuan.getEndTime(), "TIME_TRIGGER_" + pintuan.getPromotionId());
                this.logger.debug("活动[" + pintuan.getPromotionName() + "]开始,id=[" + pintuan.getPromotionId() + "]");
            
         else 
            //拼团活动结束
            Pintuan pintuan = pintuanClient.getModel(pintuanChangeMsg.getPintuanId());
            if (pintuan.getStatus().equals(PromotionStatusEnum.UNDERWAY.name())) 
                pintuanClient.closePromotion(pintuanChangeMsg.getPintuanId());
            
            this.logger.debug("活动[" + pintuan.getPromotionName() + "]结束,id=[" + pintuan.getPromotionId() + "]");
        
    

以上是关于RabbitMQ延时队列的实现原理和应用实例的主要内容,如果未能解决你的问题,请参考以下文章

RabbitMQ,Apache的ActiveMQ,阿里RocketMQ,Kafka,ZeroMQ,MetaMQ,Redis也可实现消息队列,RabbitMQ的应用场景以及基本原理介绍,RabbitMQ

rabbitmq实现延迟队列

rabbitmq - (消息队列) 的基本原理介绍

RabbitMq 实现延时队列-Springboot版本

RocketMQ延时消息实现原理探究

通过RabbitMQ的DIRECT模式以及死信队列实现延时任务