2023-05-30：Redis6.0为什么要引入多线程呢？

Posted 2023-05-31 福大大架构师每日一题

2023-05-30：Redis6.0为什么要引入多线程呢？

答案2023-05-30：

Redis多线程比单线程性能提升一倍：

Redis 6.0 引入多线程 IO 特性对性能提升至少是一倍以上。据 Redis 作者 antirez 在 RedisConf 2019 分享中介绍，多线程 IO 特性可以显著提高 Redis 的性能和吞吐量，实测 GET/SET 命令在 4 线程 IO 下的性能相比单线程几乎翻倍。国内也有一些大牛在阿里云 ESC 上测试了 unstable 版本的 Redis，结果也证实了多线程比单线程性能提升一倍左右的结论。

巨头公司的需求

Redis 将所有数据放在内存中，因此具有非常快的响应速度，大约只需要 100 纳秒左右。对于小数据包，Redis 服务器可以处理 80,000 到 100,000 QPS 左右，这已经是 Redis 处理极限了。虽然对于 80% 的公司来说，单线程的 Redis 已经足够使用，但一些高并发和复杂的业务场景需要更大的 QPS。

随着业务的不断发展，越来越多的公司面临着上亿的交易量，需要更高的性能和吞吐量。为了应对这些挑战，Redis 引入了多线程 IO 特性，在多核 CPU 和高并发情况下充分利用现代硬件资源，从而提高 Redis 的性能和吞吐量，满足更复杂和高并发的业务需求。

集群方案的问题

常见的解决方案是在分布式架构中对数据进行分区，并采用多个 Redis 服务器来存储数据。然而，这种方案也存在着一些问题。例如，需要管理的 Redis 服务器数量太多，维护代价很大；同时，数据分区也可能不够灵活，无法满足一些特定业务场景下的需求。

在采用数据分区的 Redis 集群中，某些适用于单个 Redis 服务器的命令可能不再适用。例如，一些针对特定键值对的命令如果跨越多个节点，就会出现互相干扰和不一致的情况。

尽管 Redis 的数据分区方案可以提高性能和扩展性，但也存在一些问题。例如，数据分区无法解决热点读/写问题，这可能会导致某些节点的负载过高，而其他节点则处于闲置状态。此外，数据分区可能会导致数据偏斜和重新分配变得更加复杂，特别是在进行节点的放大/缩小时。

1.纯内存KV操作

Redis 是一款基于内存的数据存储系统，因此其操作都非常快速。相比于 CPU，Redis 的性能瓶颈更多来自于两个方面：机器内存和网络带宽。

在计算机的世界中，CPU的速度是远大于内存的速度的，同时内存的速度也是远大于硬盘的速度。redis的操作都是基于内存的，绝大部分请求是纯粹的内存操作，非常迅速。

在计算机的世界中，CPU 的速度是远大于内存和硬盘的速度的。然而，由于内存的速度比硬盘快得多，因此 Redis 将其所有数据存储在内存中，以获得更高的读写性能。

Redis 的操作都是基于内存的，因此绝大部分请求都是纯粹的内存操作，非常迅速。Redis 集群可以支持每秒数百万次的读取和写入操作，响应时间通常在微秒或毫秒级别。这种高速读写操作对于处理高并发、实时数据的场景非常有用。

2.单线程操作

使用单线程可以省去多线程时CPU上下文会切换的时间，也不用去考虑各种锁的问题，不存在加锁释放锁操作，没有死锁问题导致的性能消耗。对于内存系统来说，多次读写都是在一个CPU上，没有上下文切换效率就是最高的！既然单线程容易实现，而且 CPU 不会成为瓶颈，那就顺理成章的采用单线程的方案了。

Redis 的单线程指的是网络请求模块使用了一个线程，即一个线程处理所有网络请求。而对于其他模块，Redis 仍然可以使用多线程来提高性能。

具体来说，在 Redis 中，网络请求模块和数据存储模块是两个独立的模块。网络请求模块负责接收和处理客户端请求，而数据存储模块则负责读取和写入数据。在 Redis 的单线程模型中，网络请求模块使用一个线程处理所有客户端请求，而数据存储模块仍然可以使用多线程来提高性能。

例如，在 Redis 中，主从复制和持久化等操作都会使用多线程来加速处理。此外，Redis 还引入了多线程 IO 特性，以充分利用现代硬件资源提高性能和吞吐量。

总之，Redis 的单线程模型指的是网络请求模块只使用一个线程处理所有客户端请求，这种模型可以最大化 Redis 的效率和简化代码实现。但是，其他模块仍然可以使用多线程来提高性能和并发处理能力。同时，Redis 的多线程 IO 特性也可以增强数据库的性能和扩展性。

3.I/O 多路复用

为什么 Redis 中要使用 I/O 多路复用这种技术呢？

Redis 是一款跑在单线程中的高性能 NoSQL 数据库，所有的操作都是按照顺序线性执行的。由于 Redis 的读写操作等待用户输入或输出都是阻塞的，因此 I/O 操作如果不能直接返回，会导致某一文件的 I/O 阻塞，从而整个进程无法对其他客户提供服务。

为了解决这个问题，出现了 I/O 多路复用技术。I/O 多路复用技术可以同时监视多个文件描述符，当某个文件描述符就绪时，通知程序进行相应的 I/O 操作，从而避免了阻塞等待带来的性能瓶颈。

4.Reactor 设计模式

Redis 基于 Reactor 模式开发了自己的网络事件处理器，称之为文件事件处理器（File Event Handler）。

文件事件处理器是 Redis 中网络事件的核心实现。它通过 select、poll 或 epoll 等系统级别的多路复用机制，对多个文件描述符进行轮询，当某个文件描述符就绪时，Redis 可以立即对其进行读取或写入操作，从而实现高效的异步非阻塞 I/O 操作。

公众号：福大大架构师每日一题

Java缓存面试题——Redis应用

文章目录

• 1、为什么要使用Redis做缓存？
• 2、为什么Redis单线程模型效率也能那么高？
• 3、Redis6.0为什么要引入多线程呢？
• 4、Redis常见数据结构以及使用场景
• • 字符串（String）
  • 哈希(Hash)
  • 列表（list）
  • 集合（set）
  • 有序集合（ZSET）
• 5、pipeline有什么好处，为什么要用 pipeline？
• 6、Redis官方为什么不提供 Windows版本？
• 7、Redis 持久化方式有哪些？以及有什么区别？
• • RDB
  • AOF
• 8、什么是Redis事务？原理是什么？
• 9、如何在100个亿URL中快速判断某URL是否存在？
• • 传统数据结构HashMap
  • 布隆过滤器
• 10、Redis的数据结构组织?
• 11、渐进式rehash是什么？

1、为什么要使用Redis做缓存？

缓存的好处

使用缓存的目的就是提升读写性能。而实际业务场景下，更多的是为了提升读性能，带来更高的并发量。

Redis的好处

1. 读取速度快，单机轻松10W+并发。
2. 支持多种数据结构，包括字符串、列表、集合、有序集合、哈希等
3. 拥有其他丰富的功能，主从复制、集群、数据持久化等
4. 可以实现其他功能，消息队列、分布式锁等

2、为什么Redis单线程模型效率也能那么高？

1. C语言实现，效率高：C语言程序运行时要比其他语言编写的程序快得多，因为它“离底层机器很近”
2. 单线程的优势：使用了单线程后可以省去多线程的CPU上下文会切换的时间，也不用去考虑锁导致的性能消耗等问题，可维护性高
3. Pipeline：Redis主要受限于内存和网络，几乎不会占用太多CPU。利用pipeline操作，减少命令在网络上的传输时间，将多次网络IO缩减为一次网络IO
4. 存储实现优化：Redis的基础数据结构每一种至少有2种及2种以上的实现，在不同的大小或长度下选用适合的数据类型，达到极致的存储效率，从而提高写入和读取速度

3、Redis6.0为什么要引入多线程呢？

多线程只是针对IO线程，执行命令还是单线程。

Redis服务器可以处理80,000到100,000QPS，对于80%的公司来说，单线程的Redis已经足够使用了。但随着越来越复杂的业务场景，有些公司动不动就上亿的交易量，因此需要更大的QPS。所以Redis作者在6.0引入了多线程，性能提升至少一倍以上。当然集群方案也可以解决更大QPS的问题，但是集群方案还是有一些问题的：

• 常见集群方案是对数据进行分区并采用多个服务器，但该方案有非常大的缺点，例如要管理的Redis服务器太多，维护代价大
• 某些适用于单个Redis服务器的命令不适用于数据分区
• 数据分区无法解决热点读/写问题；数据倾斜、重新分配变得更加复杂等等

4、Redis常见数据结构以及使用场景

字符串（String）

使用场景

1. 计数：使用Redis 作为计数的基础工具，它可以实现快速计数、查询缓存的功能，同时数据可以异步落地到其他数据源
2. 共享Session：使用Redis将用户的Session进行集中管理，避免在访问分布式服务时Session不存在导致重新登录
3. 限速：短信接口不被频繁访问,例如一分钟不能超过5次

哈希(Hash)

Java里提供了HashMap，Redis中也有类似的数据结构，就是哈希类型。但是要注意，哈希类型中的映射关系叫作field-value，注意这里的value是指field对应的值，不是键对应的值。

使用场景

哈希类型比较适宜存放对象类型的数据，我们可以比较下，如果数据库中表记录user为：

id	name	age
1	test1	18
2	test2	20

使用String类型

set user:1  "id":1,"name":"test1","age":18;

优点：简单直观，每个键对应一个值
缺点：键数过多，占用内存多，用户信息过于分散

使用hash类型

hmset user:1 name test1 age 18
hmset user:2 name test2 age 20

优点：简单直观，使用合理可减少内存空间消耗

列表（list）

列表( list)类型是用来存储多个有序的字符串，a、b、c、c、b四个元素从左到右组成了一个有序的列表,列表中的每个字符串称为元素(element)，一个列表最多可以存储(2^32-1)个元素(4294967295)。

使用场景

1. 每个用户有属于自己的文章列表，需要分页展示文章列表。
2. 消息队列，Redis的lpush+rpop命令组合即可实现阻塞队列。

集合（set）

集合( set）类型也是用来保存多个的字符串元素,但和列表类型不一样的是，集合中不允许有重复元素,并且集合中的元素是无序的,不能通过索引下标获取元素。

使用场景

集合类型比较典型的使用场景是标签(tag)。例如一个用户可能对娱乐、体育比较感兴趣，另一个用户可能对历史、新闻比较感兴趣，这些兴趣点就是标签。有了这些数据就可以得到喜欢同一个标签的人，以及用户的共同喜好的标签，这些数据对于用户体验以及增强用户黏度比较重要。

除此之外，集合还可以通过生成随机数进行比如抽奖活动，以及社交图谱等等。

有序集合（ZSET）

有序集合给每个元素设置一个分数(score)作为排序的依据。提供了获取指定分数和元素范围查询、计算成员排名等功能，合理的利用有序集合，能帮助我们在实际开发中解决很多问题。
适合场景

1. 有序集合比较典型的使用场景就是排行榜系统。例如视频网站需要对用户上传的视频做排行榜，榜单的维度可能是多个方面的:按照时间、按照播放数量、按照获得的赞数。

5、pipeline有什么好处，为什么要用 pipeline？

Redis客户端执行一条命令分为如下4个部分:1）发送命令2）命令排队3）命令执行4）返回结果。

其中1和4花费的时间称为Round Trip Time (RTT,往返时间)，也就是数据在网络上传输的时间，占用了绝大多的时间。

举个例子：Redis的客户端和服务端两地直线距离约为800公里，那么1次RTT时间=800 x2/ ( 300000×2/3 ) =8毫秒，(光在真空中传输速度为每秒30万公里,这里假设光纤为光速的2/3 )。而Redis命令真正执行的时间通常在微秒(1000微妙=1毫秒)级别，所以才会有Redis性能瓶颈是网络这样的说法。

Pipeline（流水线)机制能改善上面这类问题,它能将一组Redis命令进行组装，通过一次RTT传输给Redis，再将这组Redis命令的执行结果按顺序返回给客户端。

非Pipeline和Pipeline执行10000次set操作的效果，在执行时间上的比对如下：

差距有100多倍，可以得到如下两个结论:

1. Pipeline减少了网络的开销，执行速度一般比逐条执行要快。
2. 客户端和服务端的网络延时越大，Pipeline的效果越明显。

6、Redis官方为什么不提供 Windows版本？

目前Linux版本已经相当稳定，而且用户量很大，开发windows版本，反而会带来兼容性等问题。

7、Redis 持久化方式有哪些？以及有什么区别？

Redis 提供两种持久化机制 RDB 和 AOF 机制

RDB

RDB（Redis DataBase）持久化是把当前进程数据生成快照保存到硬盘的过程。所谓内存快照，就是指内存中的数据在某一个时刻的状态记录。

优点：

• 只有一个文件 dump.rdb，方便持久化。
• 容灾性好，一个文件可以保存到安全的磁盘。
• 相对于数据集大时，比AOF的启动效率更高。

缺点：

• 数据安全性低。 RDB是间隔一段时间进行持久化，如果持久化之间Redis发生故障，会发生数据丢失。所以这种方式更适合数据要求不严谨的时候。

AOF

AOF(append only file)持久化:以独立日志的方式记录每次写命令，重启时再重新执行AOF文件中的命令达到恢复数据的目的。AOF的主要作用是解决了数据持久化的实时性，目前已经是Redis持久化的主流方式。

缺点：
（1） AOF 文件比 RDB 文件大，且恢复速度慢。
（2）数据集大的时候，比 RDB 启动效率低。

8、什么是Redis事务？原理是什么？

Redis 中的事务是一组命令的集合，将一组需要一起执行的命令放到multi和exec两个命令之间。multi 命令代表事务开始，exec命令代表事务结束。它可以保证一次执行多个命令，每个事务是一个单独的隔离操作，事务中的所有命令都会序列化、按顺序地执行。

但是要注意Redis的事务功能很弱。在事务回滚机制上，Redis只能对基本的语法错误进行判断。

如下，当语法命令错误时，会造成整个事务无法执行，事务内的操作都没有执行:

如下，当命令错误时，虽然有异常提示，但是事务执行成功。

9、如何在100个亿URL中快速判断某URL是否存在？

传统数据结构HashMap

可以将值映射到 HashMap 的 Key，然后可以在 O(1) 的时间复杂度内返回结果，效率极高。

但是 HashMap 的实现也有缺点，例如存储容量占比高，考虑到负载因子的存在，通常空间是不能被用满的，举个例子如果一个1000万个int类型，会占据HashMap多少空间呢？1.2个G。实际上，1000万个int型，只需要40M左右空间，占比3%，1000万个Integer，需要161M左右空间，占比13.3%。可见一旦值很多例如上亿的时候，那HashMap 占据的内存大小就变得很可观了。

如果整个网页黑名单系统包含100亿个网页URL，在数据库查找是很费时的，并且如果每个URL空间为64B，那么需要内存为640GB，一般的服务器很难达到这个需求。

布隆过滤器

1970 年布隆提出了一种布隆过滤器的算法，用来判断一个元素是否在一个集合中。这种算法由一个二进制数组和一个 Hash 算法组成。

相比于传统的 List、Set、Map 等数据结构，它更高效、占用空间更少，但是缺点是其返回的结果是概率性的，而不是确切的。

布隆过滤器广泛应用于网页黑名单系统、垃圾邮件过滤系统、爬虫网址判重系统等，Google 著名的分布式数据库 Bigtable 使用了布隆过滤器来查找不存在的行或列，以减少磁盘查找的IO次数，Google Chrome浏览器使用了布隆过滤器加速安全浏览服务。

布隆过滤器的误判问题

• 通过hash计算在数组上，因为hash冲突实际上可能不在，如下图中的D。
• 通过hash计算在数组上，因为数组中已存在，不能确定在不在，如下图中的C。
  

优化方案

• 增大数组(预估适合值)
• 增加hash函数，通过两次Hash算法，都为1时确定为存在。
  

10、Redis的数据结构组织?

为了实现从键到值的快速访问，Redis 使用了一个全局哈希表来保存所有键值对。一个哈希表，其实就是一个数组，数组的每个元素称为一个哈希桶。所以，我们常说，一个哈希表是由多个哈希桶组成的，每个哈希桶中保存了键值对数据。

哈希表的最大好处很明显，就是让我们可以用 O(1) 的时间复杂度来快速查找到键值对。但是当往 Redis 中写入大量数据后，哈希表的冲突问题和 rehash 可能带来的操作阻塞，这里的哈希冲突，两个 key 的哈希值和哈希桶计算对应关系时，正好落在了同一个哈希桶中。

Redis 解决哈希冲突的方式，就是链式哈希。链式哈希也很容易理解，就是指同一个哈希桶中的多个元素用一个链表来保存，它们之间依次用指针连接。

11、渐进式rehash是什么？

Redis 默认使用了两个全局哈希表：哈希表 1 和哈希表 2。一开始，当你刚插入数据时，默认使用哈希表 1，此时的哈希表 2 并没有被分配空间。随着数据逐步增多，Redis 开始执行 rehash。

1. 给哈希表 2 分配更大的空间，例如是当前哈希表 1 大小的两倍
2. 把哈希表 1 中的数据重新映射并拷贝到哈希表 2 中
3. 释放哈希表 1 的空间

在上面的第二步涉及大量的数据拷贝，如果一次性把哈希表 1 中的数据都迁移完，会造成 Redis 线程阻塞。在Redis 开始执行 rehash，Redis仍然正常处理客户端请求，但是要加入一个额外的处理：

1. 处理第1个请求时，把哈希表 1中的第1个索引位置上的所有 entries 拷贝到哈希表 2 中
2. 处理第2个请求时，把哈希表 1中的第2个索引位置上的所有 entries 拷贝到哈希表 2 中

如此循环，直到把所有的索引位置的数据都拷贝到哈希表 2 中。这样就巧妙地把一次性大量拷贝的开销，分摊到了多次处理请求的过程中，避免了耗时操作，保证了数据的快速访问。