Redis实现之RDB持久化

Posted 2021-01-10 北洛

RDB持久化

Redis是一个键值对数据库服务器，服务器中通常包含着任意个非空数据库，而每个非空数据库中又可以包含任意个键值对，为了方便起见，我们将服务器中的非空数据库以及它们的键值对统称为数据库状态。举个栗子，图1-1展示了一个包含三个非空数据库的Redis服务器，这三个数据库以及数据库中的键值对就是该服务器的数据库状态

图1-1   数据库状态示例

因为Redis是内存数据库，它将自己的数据库状态存储在内存里面，所以如果不想办法将存储在内存中的数据库状态保存到磁盘中，那么一旦服务器进程退出，服务器中的数据库状态也会消失。为了解决这个问题，Redis提供了RDB持久化功能，可以将Redis内存中的数据库状态保存到磁盘中，避免数据意外丢失

RDB持久化既可以手动执行，也可以根据服务器配置选项定期执行，该功能可以将某个时间点上的数据库状态保存到一个RDB文件中，如图1-2所示

图1-2   将数据库状态保存为RDB文件

RDB持久化功能所生成的RDB文件是一个经压缩的二进制文件，通过该文件可以还原生成RDB文件时的数据库状态，如图1-3所示

图1-3   用RDB文件来还原数据库状态

因为RDB文件是保存在硬盘中的，所以即使Redis服务器进程退出，甚至运行Redis服务器的计算机停机，但只要RDB文件还在，Redis服务器就可以用它来还原数据库状态

RDB文件的创建和载入

有两个Redis命令可以用于生成RDB文件，一个是SAVE，另一个是BGSAVE。SAVE命令会阻塞Redis服务器，直到RDB文件创建完毕为止，在服务器进程阻塞期间，服务器不能处理任何命令请求：

127.0.0.1:6379> SAVE			#等待直到RDB文件创建完毕
OK

　　

和SAVE命令直接阻塞服务器进程的做法不同，BGSAVE命令会派生出一个子进程，然后由子进程负责创建RDB文件，服务器进程（父进程）继续处理命令请求：

127.0.0.1:6379> BGSAVE			#派生子进程，并由子进程创建RDB文件
Background saving started

　　

创建RDB文件的实际工作由rdb.c/rdbSave函数完成，SAVE命令和BGSAVE命令会以不同的方式调用这个函数，通过以下伪代码可以明显看出这两个命令之间的区别： 

def SAVE():
	#创建RDB文件
	rdbSave()

def BGSAVE():
    #创建子进程
    pid = fork()
    if pid == 0:
        #子进程负责创建RDB文件
        rdbSave()
        #完成之后向父进程发出信号
        signal_parent()
    elif pid > 0:
        #父进程继续处理命令请求，并通过轮询等待子进程信号
        handle_request_and_wait_signal()
    else:
        #处理出错情况
        handle_fork_error()

　　

和使用SAVE命令或者BGSAVE命令创建RDB文件不同，RDB文件的载入工作是在服务器启动时自动执行的，所以Redis并没有专门用于载入RDB文件的命令，只要Redis服务器在启动时检测到RDB文件的存在，它就会自动载入RDB文件

以下是Redis服务器启动时打印的日志记录其中第二条DB loaded from disk:……就是服务器成功载入RDB文件之后打印的：

17859:S 18 Aug 11:26:16.363 # Server started, Redis version 3.0.0
17859:S 18 Aug 11:26:56.802 * DB loaded from disk: 36.336 seconds
17859:S 18 Aug 11:26:56.802 * The server is now ready to accept connections on port 6379

　　

另外值得一提的是，因为AOF文件的更新频率通常比RDB文件的更新频率高，所以：

• 如果服务器开启了AOF持久化功能，那么服务器就会优先使用AOF文件来还原数据库状态
• 只有在AOF持久化功能处于关闭状态时，服务器才会使用RDB文件来还原数据库状态

服务器判断该用哪个文件来还原数据库状态的流程如图1-4所示

图1-4   服务器载入文件时的判断流程

载入RDB文件的实际工作由rdb.c/rdbLoad函数完成，这个函数和rdbSave函数之间的关系可以用图1-5表示

 

图1-5   创建和载入RDB文件

SAVE命令执行时的服务器状态

前面提到过，当SAVE命令执行时，Redis服务器会被阻塞，所以当SAVE命令正在执行时，客户端发送的所有命令请求都会被拒绝。只有在服务器完成SAVE命令、重新开始接受命令请求之后，客户端发送的命令才会被处理

BGSAVE命令执行时的服务器状态

因为BGSAVE命令的保存工作是由子进程执行的，所以在子进程创建RDB文件的过程中，Redis服务器仍然可以继续处理客户端的命令请求，但是，在BGSAVE命令执行期间，服务器处理SAVE、BGSAVE、BGREWRITEAOF三个命令的方式会和平时有所不同

首先，在BGSAVE命令执行期间，客户端发送的BGSAVE命令会被服务器拒绝，因为同时执行两个BGSAVE命令也会产生竞争条件。然后，BGREWRITEAOF和BGSAVE两个命令不能同时执行：

• 如果BGSAVE命令正在执行，那么客户端发送的BGREWRITEAOF命令会被延迟到BGSAVE命令执行完毕之后再执行
• 如果BGREWRITEAOF命令正在执行，那么客户端发送的BGSAVE命令会被服务器拒绝

因为BGSAVE和BGREWRITEAOF两个命令的实际工作都由子进程执行，所以这两个命令在操作方面并没有什么冲突的地方，不能同时执行它们只是一个性能方面的考虑——并发处两个子进程，并且两个子进程都同时执行大量的磁盘写入操作，对CPU是极大的消耗，要是数据库存储的键值对庞大，对内存的消耗想想都觉得恐怖

save和bgsave对比

命令	save	bgsave
IO类型	同步	异步
是否阻塞redis其它命令	是	否(在生成子进程执行调用fork函数时会有短暂阻塞)
复杂度	O(n)	O(n)
优点	不会消耗额外内存	不阻塞客户端命令
缺点	阻塞客户端命令	需要fork子进程，消耗内存

 

RDB文件载入时的服务器状态

服务器在载入RDB文件期间，会一直处于阻塞状态，直到载入工作完成为止

自动间隔性保存

在上一节，我们介绍了SAVE命令和BGSAVE的实现方法，并且说明了这两个命令在实现方面的主要区别：SAVE命令由服务器进程执行保存工作，BGSAVE命令则由子进程执行保存工作，所以SAVE命令会阻塞服务器，而BGSAVE命令则不会

因为BGSAVE命令可以在不阻塞服务器的情况下执行，所以Redis允许用户通过没设置服务器配置的save选项，让服务器每隔一段时间自动执行一次BGSAVE命令。用户可以通过save选项设置多个保存条件，但只要其中一个条件被满足，服务器就会执行BGSAVE命令。举个栗子，如果我们向服务器提供以下配置：

save 	900 	1
save 	300 	10
save 	60 		10000

　　

那么只要满足以下三个条件中的任意一个，BGSAVE命令就会被执行：

• 服务器在900秒内对数据库进行了至少一次的修改
• 服务器在300秒内对数据库进行了至少十次的修改
• 服务器在60秒内对数据库进行了至少一万次的修改

设置保存条件

当Redis启动时，用户可以通过指定配置文件或传入启动参数的方式设置save选项，如果用户没有主动设置save选项，那么服务器会为save选项设置默认条件：

save 	900 	1
save 	300 	10
save 	60 		10000

　　

接着，服务器会根据save选项所设置的保存条件，设置服务器状态redisServer结构体的saveparams属性：

redis.h

struct redisServer {
	……
	//记录了保存条件的数组
    struct saveparam *saveparams;   
    ……
};

　　

saveparams属性是一个数组，数组中每个元素都是一个saveparam结构体，每个saveparam结构体都保存了一个save选项设置的保存条件：

redis.h

struct saveparam {
	//秒数
    time_t seconds;
	//修改数
    int changes;
};

　　

比如说，如果save选项的值为以下条件：

save 	900 	1
save 	300 	10
save 	60 		10000

　　

那么服务器状态中的saveparams数组将会是图1-6所示的样子

图1-6   服务器状态中的保存条件

dirty计数器和lastsave属性

除了saveparams数组之外，服务器状态还维持着一个dirty计数器，以及一个lastsave属性：

• dirty计数器记录距离上一次成功执行SAVE命令或者BGSAVE命令之后，服务器对数据库状态（服务器中的所有数据库）进行了多少次修改（包括写入、删除、更新等操作）
• lastsave属性是一个Unix时间戳，记录了服务器上一次成功执行SAVE命令或BGSAVE命令的时间

redis.h

struct redisServer {
	……
	//修改计数器
    long long dirty;               
    ……
	//上一次执行保存的时间
    time_t lastsave;               
    ……
};

　　

当服务器成功执行一个数据库修改命令后，程序就会对dirty计数器进行更新：命令修改了多少次数据库，dirty计数器的值就会增加多少。例如，如果我们为一个字符串键设置值：

127.0.0.1:6379> SET message "hello"
OK

　　

那么程序会将dirty计数器的值加1。又比如，如果我们向一个集合键增加三个元素：

127.0.0.1:6379> SADD database Redis MongoDB MariaDB
(integer) 3

　　

 那么程序会将dirty计数器的值加3

图1-7展示了服务器状态中包含的dirty计数器和lastsave属性，说明如下：

• dirty计数器的值为123，表示服务器在上次保存之后，对数据库状态共进行了123次修改
• lastsave属性则记录了服务器上次执行保存操作的时间1378270800（2013年9月4日零时）

 

图1-7   服务器状态示例

检查保存条件是否满足

Redis的服务器周期性操作函数serverCron默认每隔100毫秒就会执行一次，该函数用于对正在运行的服务进行维护，它的其中一项工作就是检查save选项所设置的保存条件是否满足，如果满足，就执行BGSAVE命令

以下伪代码展示了serverCron函数检查保存条件的过程：

def serverCron():    
	# …    
    # 遍历所有保存条件    
    for saveparam in server.saveparams:       
         # 计算距离上次执行保存操作有多少秒       
         save_interval = unixtime_now()-server.lastsave    
    
        # 如果数据库状态的修改次数超过条件所设置的次数       
        # 并且距离上次保存的时间超过条件所设置的时间        
        # 那么执行保存操作       
         if      server.dirty >= saveparam.changes and \\
                   save_interval > saveparam.seconds:       
     
                BGSAVE(); 
     # ...

　　

程序会遍历并检查saveparams数组中的所有保存条件，只要有任意一个条件被满足时，那么服务器就会执行BGSAVE命令。举个栗子，如果Redis服务器的当前状态如图1-8所示

图1-8   服务器状态

那么当时间来到1378271101，也即是1378270800的301秒之后，服务器将自动执行一次BGSAVE命令，因为saveparams数组的第二个保存条件——300秒内有至少十次修改的条件已满足

假设BGSAVE在执行五秒后完成，那么图1-8所示的服务器状态将更新为图1-9所示，其中dirty计数器被重置为0，而lastsave属性也被更新为1378271106

图1-9   执行BGSAVE之后的服务器状态

以上就是Redis服务器根据save选项所设置的保存条件，自动执行BGSAVE命令，进行间隔性数据保存的实现原理