redis源码分析--aof持久化

Posted 2022-12-31 yang-zd

Redis aof持久化

  Redis支持两种持久化方式：rdb与aof，上一篇文章中已经大致介绍了rdb的持久化实现，这篇文章主要介绍aof实现。

  与rdb方式相比，aof会使用更多的存储空间，因为它将数据以客户端命令的形式进行存储，并使用ascii编码。但它也有相应的优点，如支持append的方式保存db内容的变动，不需要像rdb方式一样一旦内容有变动，便需要重新完整生成文件才能将变动保存到文件中；同时在子进程持久化的过程中，可以累积客户端的命令到缓存中，最后将缓存内容添加到持久化生成的文件的末尾，几乎可以实现不丢失内容的持久化。

1. aof命令格式

aof的持久化方式不仅可以将client端发送来的命令直接添加到aof文件的末尾，还可以将内存中的数据重写为命令的形式。redis中定义aof中的一条完整命令格式如下：

*count\r\n$len\r\ncontent\r\n

以*开头，后面接这条命令中的参数数目count，并以\r\n结束；后面的每一个参数都以$开头，接参数长度len，并以\r\n结束，后面跟实际的参数内容，并以\r\n结束。

举例，命令RPUSH “key1” 1 2 3 4这条命令在aof文件中的表示如下：

*6\r\n$5\r\nRPUSH\r\n$4\r\nkey1\r\n\$1\r\n1\r\n$1\r\n2\r\n$1\r\n3\r\n$1\r\n4\r\n

这表示命令中有6个参数，第1个参数长度为5，值为RPUSH，第2个参数长度为4，值为key1，以此类推。

而命令 set “key2” “hello, world”这条命令在aof文件中表示如下：

*3\r\n$3\r\nset\r\n$4\r\nkey2\r\n$12\r\nhello, world\r\n

2. db中的数据rewrite

对于已经存储在db中的数据，如果需要以aof的方式进行持久化，那么需要将其重写为命令的形式，这个功能通过aof.c源文件中的rewriteAppendOnlyFileRio函数实现。它会遍历所有的db字典，并遍历每一个字典中的所有key-value对，进行rewrite。重写规则大致如下：

1. 遍历每一个db，首先添加一条命令"*2\r\n$6\r\nSELECT\r\n$len\r\nj\r\n"，其中的len为db索引的字符串形式的长度，j为其字符串表示，每一个db仅在遍历重写它的key-value对之前添加该命令。
2.  遍历每一对key-value对，根据其类型，添加正确的命令头，一条命令尽可能多的添加数据，但一条命令中参数个数有限制，超过限制则拆分为多条命令。

举例，如果内存中存在一个”name1” “faker”的key-value对，重写命令如下：

*3\r\n$3\r\nset\r\n$5\r\nname\r\n$5\r\nfaker\r\n

如果内存中存在一个list，key为”key1”，内容为1 2 3 4，那么其重写后的命令如下：

*6\r\n$5\r\nRPUSH\r\n$4\r\nkey1\r\n\$1\r\n1\r\n$1\r\n2\r\n$1\r\n3\r\n$1\r\n4\r\n

3. 命令缓存

  redis中aof持久化使用到了两类缓存，一类缓存用于在子进程运行过程中，保存客户端的命令，它是server全局结构的一个list成员aof_rewrite_buf_blocks，该list的节点值类型为

typedef struct aofrwblock 
    unsigned long used, free;
    char buf[AOF_RW_BUF_BLOCK_SIZE];
 aofrwblock;

当需要将命令保存到aof文件中，而此时server.aof_child_pid != -1(即aof子进程正在运行)，命令被添加到aof_rewrite_buf_blocks链接的缓存中。

  这个buffer中的数据会通过pipe发送给子进程，发送函数为aofChildWriteDiffData，这个函数在pipe的写事件发生时调用。相应的子进程中会有从pipe接收这些缓存数据的函数aofReadDiffFromParent，这个函数在子进程持久化数据的过程中被主动调用，并将接收的数据保存到server. aof_child_diff中，在内存数据处理完成后，添加到aof文件末尾。

  另一类缓存是server.aof_buf，这是一个sds类型的缓存，它在aof持久化开启，并且没有aof子进程运行时使用，客户端命令始终首先保存到该缓存中，然后周期性将该缓存添加到aof文件中。

  通过缓存命令的方式，保证了aof持久化不会丢失更新。

4. aof创建流程

  一个aof持久化文件的完整创建流程如下：

1. rewriteAppendOnlyFileBackground启动子进程将db字典中的数据持久化，即使是以aof方式持久化，仍然可以选择将此时db字典中的数据以rdb的方式进行存储，这部分数据恢复时当然也是调用rdb相应函数。
2. 等待db字典中的数据持久化完成，将持久化过程中子进程接收的aof_child_diff添加到aof文件的末尾。
3. 父进程将仍未发送给子进程的aof_rewrite_buf_blocks中的累计更新添加到aof文件末尾。初始化server.aof_buf缓存。
4. 客户端命令被缓存到server.aof_buf末尾，并定期更新到aof文件中。

  生成一个有效的aof文件后，后续db字典中的数据有变动时，只需要将相应的命令添加到aof文件末尾，即可完成相应的持久化，不需要像rdb一样为了保存新的改动，必须重新完整地对db字典进行处理。

  aof文件的载入同样相对简单，按行读取，从*后得到参数数目，然后读取指定数目的参数后，执行命令。