redis 学习系列08Redis小功能大用处02 Pipeline事务与Lua

Posted 2021-11-26 xuelisheng

3、Pipeline

3.1 Pipeline概念

Redis客户端执行一条命令分为如下四个过程：

(1)发送命令　　(2)命令排队　　(3)命令执行　　(4)返回结果

其中(1)和(4)称为Round Trip Time(RTT，往返时间)。

Redis提供了批量操作命令( 例如mget、mset等) ，可以有效地节约RTT。但大部分命令是不支持批量操作的，例如要执行n次hgetall命令，并没有mhgetall命令存在，需要消耗n次RTT。Redis的客户端和服务端可能部署在不同的机器上。例如客户端在北京，Redis服务端在上海，两地直线距离约为1300公里，那么1次RTT时间=1300x2/ (300000x2/3) =13毫秒(光在真空中传输速度为每秒30万公里，这里假设光纤为光速的2/3)，那么客户端在1秒内大约只能执行80次左右的命令，这个和Redis的高并发高吞吐特性背道而驰。

Pipeline (流水线)机制能改善上面这类问题，它能将一组Redis命令进行组装，通过一次RTT传输给Redis，再将这组Redis命令的执行结果按顺序返回给客户端，图3-5为没有使用Pipeline执行了n条命令，整个过程需要n次RTT。

                　　　　　　               

 

图3-6为使用Pipeline 执行了n次命令，整个过程只需要1次RTT。

Pipeline 并不是什么新的技术或者机制，很多技术上都是用过。而且RTT在不同的网络环境下是有所不同的，同机房和同机器会比较快，跨机房或者跨地区会比较慢。Redis命令真正执行的时间通常都是在微秒级别的，所以才会有Redis性能瓶颈是网络这样的说法。

redis-cli的--pipe选项实际上就是使用Pipeline 机制，例如下面操作将set hello world和incr counter两条命令组装：

但是大部分开发人员更倾向于使用高级语言客户端中的Pipeline，目前大部分Redis客户端都是支持Pipeline，例如java的Redis客户端Jedis。

3.2 性能测试

表3-1给出了在不同的网络环境下非Pipeline和Pipeline执行10000次set操作的效果，可以得出如下2个结论：

• Pipeline执行速度一般比逐条执行要快；
• 客户端与服务端的网络延时越大，Pipeline的效果越明显。

 

3.3 原生批量处理命令与Pipeline对比以及注意事项

(1)比较

可以使用Pipeline模拟出批量操作的效果，但是在使用时要注意它与原生批量命令的区别，具体包含以下几点:

• 原生批量命令是原子的，Pipeline是非原子的。
• 原生批量命令是一个命令对应多个key, Pipeline支持多个命令。
• 原生批量命令是Redis服务端支持实现的，而Pipeline需要服务端和客户端的共同实现。 

(2)注意事项

Pipeline虽然好用，但是每次Pipeline组装的命令个数不能没有节制，否则一次组装Pipeline数据量过大，一方面会增加客户端的等待时间，另一方面会造成一定的网络阻塞，可以将一次包含大量命令的Pipeline拆分成多次较小的Pipeline来完成。

Pipeline只能操作1个Redis实例，但是即使在分布式Redis场景中，也可以作为批量操作的重要优化手段，后序博客还会对此进行介绍。

 

4、事务与Lua

为了保证多条命令组合的原子性，Redis提供了简单的事务功能以及集成Lua脚本来解决这个问题。

4.1 事务

所谓的事务就是一组动作，要么全部执行，要么全不执行。例如在社交网站上用户A关注了用户B，那么需要在用户A的关注表中加入用户B，并且在用户B的粉丝表中添加用户A，这两个行为要么全部执行，要么全部不执行，否则会出现数据不一致的情况。

首先这里简要说明一下Redis关于事务处理部分的4个常用命令：

• multi：该命令用于开启一个事务；之后用户可以输入多行命令，都会被保存起来等待执行。
• exec：执行保存起来的事务内的所有命令，该命令执行后无法回滚，因此执行速度也较快。
• discard：该命令表示放弃事务，从当前的事务中退出。以免影响后续的语句执行。
• watch：该命令可以为Redis事务提供check-and-set行为。被watch监视的键，如果有至少一个在执行exec前被改动，则整个事务会被取消执行。

Redis提供了简单的事务功能，将一组需要一起执行的命令放到multi和exec两个命令之间。multi命令代表事务开始，exec命令代表事务结束，它们之间的命令是原子顺序执行的，例如下面操作实现了上述用户关注问题。

可以看到sadd命令此时返回结果是QUEUED，代表命令并没有真正执行，而是暂时保存在Redis中。如果此时另一个客户端执行sismember user:a:follow user:b 返回结果为0。(即判断value是否在key的集合中)

当执行exec后，用户A关注用户B的行为才算是完成，如下所示返回的两个结果对应sadd命令。

如果要停止事务的执行，可以使用discard命令替代exec命令即可。