redis源码分析--aof持久化

Posted yang-zd

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了redis源码分析--aof持久化相关的知识,希望对你有一定的参考价值。

Redis aof持久化

  Redis支持两种持久化方式:rdb与aof,上一篇文章中已经大致介绍了rdb的持久化实现,这篇文章主要介绍aof实现。

  与rdb方式相比,aof会使用更多的存储空间,因为它将数据以客户端命令的形式进行存储,并使用ascii编码。但它也有相应的优点,如支持append的方式保存db内容的变动,不需要像rdb方式一样一旦内容有变动,便需要重新完整生成文件才能将变动保存到文件中;同时在子进程持久化的过程中,可以累积客户端的命令到缓存中,最后将缓存内容添加到持久化生成的文件的末尾,几乎可以实现不丢失内容的持久化。

1. aof命令格式

aof的持久化方式不仅可以将client端发送来的命令直接添加到aof文件的末尾,还可以将内存中的数据重写为命令的形式。redis中定义aof中的一条完整命令格式如下:

*count\r\n$len\r\ncontent\r\n

以*开头,后面接这条命令中的参数数目count,并以\r\n结束;后面的每一个参数都以$开头,接参数长度len,并以\r\n结束,后面跟实际的参数内容,并以\r\n结束。

举例,命令RPUSH “key1” 1 2 3 4这条命令在aof文件中的表示如下:

*6\r\n$5\r\nRPUSH\r\n$4\r\nkey1\r\n\$1\r\n1\r\n$1\r\n2\r\n$1\r\n3\r\n$1\r\n4\r\n

这表示命令中有6个参数,第1个参数长度为5,值为RPUSH,第2个参数长度为4,值为key1,以此类推。

而命令 set “key2” “hello, world”这条命令在aof文件中表示如下:

*3\r\n$3\r\nset\r\n$4\r\nkey2\r\n$12\r\nhello, world\r\n

2. db中的数据rewrite

对于已经存储在db中的数据,如果需要以aof的方式进行持久化,那么需要将其重写为命令的形式,这个功能通过aof.c源文件中的rewriteAppendOnlyFileRio函数实现。它会遍历所有的db字典,并遍历每一个字典中的所有key-value对,进行rewrite。重写规则大致如下:

  1. 遍历每一个db,首先添加一条命令"*2\r\n$6\r\nSELECT\r\n$len\r\nj\r\n",其中的len为db索引的字符串形式的长度,j为其字符串表示,每一个db仅在遍历重写它的key-value对之前添加该命令。
  2.  遍历每一对key-value对,根据其类型,添加正确的命令头,一条命令尽可能多的添加数据,但一条命令中参数个数有限制,超过限制则拆分为多条命令。

举例,如果内存中存在一个”name1” “faker”的key-value对,重写命令如下:

*3\r\n$3\r\nset\r\n$5\r\nname\r\n$5\r\nfaker\r\n

如果内存中存在一个list,key为”key1”,内容为1 2 3 4,那么其重写后的命令如下:

*6\r\n$5\r\nRPUSH\r\n$4\r\nkey1\r\n\$1\r\n1\r\n$1\r\n2\r\n$1\r\n3\r\n$1\r\n4\r\n

3. 命令缓存

  redis中aof持久化使用到了两类缓存,一类缓存用于在子进程运行过程中,保存客户端的命令,它是server全局结构的一个list成员aof_rewrite_buf_blocks,该list的节点值类型为

typedef struct aofrwblock 
    unsigned long used, free;
    char buf[AOF_RW_BUF_BLOCK_SIZE];
 aofrwblock;

当需要将命令保存到aof文件中,而此时server.aof_child_pid != -1(即aof子进程正在运行),命令被添加到aof_rewrite_buf_blocks链接的缓存中。

  这个buffer中的数据会通过pipe发送给子进程,发送函数为aofChildWriteDiffData,这个函数在pipe的写事件发生时调用。相应的子进程中会有从pipe接收这些缓存数据的函数aofReadDiffFromParent,这个函数在子进程持久化数据的过程中被主动调用,并将接收的数据保存到server. aof_child_diff中,在内存数据处理完成后,添加到aof文件末尾。

  另一类缓存是server.aof_buf,这是一个sds类型的缓存,它在aof持久化开启,并且没有aof子进程运行时使用,客户端命令始终首先保存到该缓存中,然后周期性将该缓存添加到aof文件中。

  通过缓存命令的方式,保证了aof持久化不会丢失更新。

4. aof创建流程

  一个aof持久化文件的完整创建流程如下:

  1. rewriteAppendOnlyFileBackground启动子进程将db字典中的数据持久化,即使是以aof方式持久化,仍然可以选择将此时db字典中的数据以rdb的方式进行存储,这部分数据恢复时当然也是调用rdb相应函数。
  2. 等待db字典中的数据持久化完成,将持久化过程中子进程接收的aof_child_diff添加到aof文件的末尾。
  3. 父进程将仍未发送给子进程的aof_rewrite_buf_blocks中的累计更新添加到aof文件末尾。初始化server.aof_buf缓存。
  4. 客户端命令被缓存到server.aof_buf末尾,并定期更新到aof文件中。

  生成一个有效的aof文件后,后续db字典中的数据有变动时,只需要将相应的命令添加到aof文件末尾,即可完成相应的持久化,不需要像rdb一样为了保存新的改动,必须重新完整地对db字典进行处理。

  aof文件的载入同样相对简单,按行读取,从*后得到参数数目,然后读取指定数目的参数后,执行命令。

以上是关于redis源码分析--aof持久化的主要内容,如果未能解决你的问题,请参考以下文章

redis源码分析--rdb持久化

redis RDB 和AOF

redis rdb持久化源码分析

redis源码阅读-持久化之aof详解

Redis源码剖析 - Redis持久化之AOF

Redis源码剖析 - Redis持久化之AOF