Redis实现延迟队列

Posted 2022-05-07 HelloWorld搬运工

个人博客请访问 http://www.x0100.top               

我们都知道Redis是一种基于内存的单进程单线程数据库（Redis6.0开始之后支持多线程啦！），处理速度都非常快。那么为何Redis又能慢呢？原来，这里说的慢是指Redis可以设置一些参数达到慢处理的结果。（这就是为什么Redis既能快又能慢啦！）

那接下来开始讲讲我们的Redis在队列中如何实现延时的情况：

在我们日常生活中，我们可以发现：

• 在淘宝、京东等购物平台上下单，超过一定时间未付款，订单会自动取消。

• 打车的时候，在规定时间没有车主接单，平台会取消你的单并提醒你暂时没有车主接单。

• 点外卖的时候，如果商家在10分钟还没接单，就会自动取消订单。

• 收快递的时候，如果我们没有点确认收货，在一段时间后程序会自动完成订单。

• 在平台完成订单后，如果我们没有在规定时间评论商品，会自动默认买家不评论。

• .......

这时，我们可以想想为什么要这样做？

因为这样可以保证商品的库存可以释放给其他人购买，你可以不用一直等待打车却得不到回复，你可以及时换一家店点到外卖。

那么这些情况都是如何实现的呢？

这时我们可以看看这个图，来看看消息延迟是如何处理的：

当用户发送一个消息请求给服务器后台的时候，服务器会检测这条消息是否需要进行延时处理，如果需要就放入到延时队列中，由延时任务检测器进行检测和处理，对于不需要进行延时处理的任务，服务器会立马对消息进行处理，并把处理后的结果返会给用户。

对于在延时任务检测器内部的话，有查询延迟任务和执行延时任务两个职能，任务检测器会先去延时任务队列进行队列中信息读取，判断当前队列中哪些任务已经时间到期并将已经到期的任务输出执行（设置一个定时任务）。

这时，我们可以想一想在Redis的数据结构中有哪些能进行时间设置标志的命令？

是不是想到的 zset 这个命令，具有去重有序（分数排序）的功能。没错，你想对了呀！

我们可以使用 zset（sortedset）这个命令，用设置好的时间戳作为score进行排序，使用 zadd score1 value1 ....命令就可以一直往内存中生产消息。

再利用 zrangebysocre 查询符合条件的所有待处理的任务，通过循环执行队列任务即可。也可以通过 zrangebyscore key min max withscores limit 0 1 查询最早的一条任务，来进行消费。

总的来说，你可以通过以下两种方式来实现（(^▽^)如果你想到其他方法，也可以告诉我下呀~）：

• 使用zrangebyscore来查询当前延时队列中所有任务，找出所有需要进行处理的延时任务，在依次进行操作。

• 查找当前最早的一条任务，通过score值来判断任务执行的时候是否大于了当前系统的时候，比如说：最早的任务执行时间在3点，系统时间在2点58分），表示这个应该需要立马被执行啦，时间快到了（冲冲冲，他来了他来了，他带着死神的步伐来了）。

我们可以想一想Redis来实现延时队列有何优势呢？

其实，Redis用来进行实现延时队列是具有这些优势的：

• Redis zset支持高性能的 score 排序。

• Redis是在内存上进行操作的，速度非常快。

• Redis可以搭建集群，当消息很多时候，我们可以用集群来提高消息处理的速度，提高可用性。

• Redis具有持久化机制，当出现故障的时候，可以通过AOF和RDB方式来对数据进行恢复，保证了数据的可靠性

这时候，会有小伙伴问了还有没有其他实现延时队列的方式呀！emmm....当然有的，只有想不到的没有做不到。

搜索Java知音，回复“后端面试”，送你一份面试宝典.pdf

一、用消息中间件实现延时队列

（1）通过 RabbitMQ 来实现延时队列

方法一：在MQ中我们可以对Queue设置 x-expires 过期时间或者对 Message设置超时时间x-message-ttl。

（这里要注意下：延时相同的消息我们要扔到同一个队列中，对于每一个延时要建立一个与之对应的队列—这是由于MQ的过期检测是惰性检测的。）

方法二：我们可以用RabbitMQ的插件rabbitmq-delayed-message-exchange插件来实现延时队列。达到可投递时间时并将其通过 x-delayed-type 类型标记的交换机类型投递至目标队列。

（2）RocketMQ实现延时队列

rocketmq在发送延时消息时，是先把消息按照延迟时间段发送到指定的队列中（把延时时间段相同的消息放到同一个队列中，保证了消息处理的顺序性，可以让同一个队列中消息延时时间是相同的，整个RocketMQ中延时消息时按照递增顺序排序，保证信息处理的先后顺序性。）。之后，通过一个定时器来轮询处理这些队列里的信息，判断是否到期。对于到期的消息会发送到相应的处理队列中，进行处理。

注意 ：目前RocketMQ只支持特定的延时时间段，1s,5s,10s,...2h，不能支持任意时间段的延时设置。有兴趣的小伙伴可以去了解下它是相关知识呀~

二、Kafka实现延时队

Kafka基于时间轮自定义了一个用于实现延迟功能的定时器（SystemTimer），Kafka中的时间轮（TimingWheel）是一个存储定时任务的环形队列，可以进行相关的延时队列设置。

三、Netty实现延时队列

Netty也有基于时间轮算法来实现延时队列。Netty在构建延时队列主要用HashedWheelTimer，HashedWheelTimer底层数据结构是使用DelayedQueue，采用时间轮的算法来实现。

搜索Java知音，回复“后端面试”，送你一份面试宝典.pdf

四、DelayQueue来实现延时队列

Java中有自带的DelayQueue数据类型，我们可以用这个来实现延时队列。DelayQueue是封装了一个PriorityQueue（优先队列），在向DelayQueue队列中添加元素时，会给元素一个Delay（延迟时间）作为排序条件，队列中最小的元素会优先放在队首，对于队列中的元素只有到了Delay时间才允许从队列中取出。这种实现方式是数据保存在内存中，可能面临数据丢失的情况，同时它是无法支持分布式系统的。