redis持久化机制

Posted 2021-03-15 liulong99

1. 什么是redis持久化机制？

???????? 说白了，就是在指定的时间间隔内，将内存当中的数据集快照写入磁盘，它恢复时是将快照文件直接读到内存。什么意思呢？我们都知道，内存当中的数据，如果我们一断电，那么数据必然会丢失，但是玩过redis的同学应该都知道，我们一关机之后再启动的时候数据是还在的，所以它必然是在redis启动的时候重新去加载了持久化的文件
???????? redis提供两种方式进行持久化，一种是RDB持久化默认，另外一种是AOF（append only file）持久化

一.RDB

1. RDB是什么？

???????? 原理是redis会单独创建（fork）一个与当前进程一模一样的子进程来进行持久化，这个子进程的所有数据（变量。环境变量，程序程序计数器等）都和原进程一模一样，会先将数据写入到一个临时文件中，待持久化结束了，再用这个临时文件替换上次持久化好的文件，整个过程中，主进程不进行任何的io操作，这就确保了极高的性能。

2. 为什么要fork一个子进程？

???????? 因为redis是单线程的，如果这个线程去进行rdb持久化了，那么此时有客户端向我们服务端发送命令，他是得不到处理的（唯一的线程在做持久化），必须要等持久化结束后才能接受客户端命令。那么这个过程可以理解为客户端发送命令会阻塞，性能低下。

3. 这个持久化文件在哪里？

???????? 根据redis.conf里的dir配置

4. 他什么时候fork子进程，或者什么时候触发rdb持久化机制？

???????? shutdown时，如果没有开启aof，会触发
???????? 执行命令save或者bgsave
???????? ???????? bgsave：会fork子进程，原理与rdb上面原理一样，系统默认触发rdb持久化都是调用的此命令
???????? ???????? save：是不会fork子进程的，它使用主进程进行持久化，所以会导致客户端命令发送到我们服务端得不到及时处理，所以他是阻塞的

二.aof

1. aof原理？

???????? 原理是将Reids的操作日志以追加的方式写入文件，读操作是不记录的，整体分为三步
???????? 数据写入内存--》数据写入aof_buf---》写入持久化文件。第二步到第三步什么时候执行根据配置文件触发机制
????????

注意：aof持久化不会fork子进程

2. 这个持久化文件在哪里？

???????? 根据redis.conf里的dir配置

3. 触发机制（根据配置文件配置项）

no：表示等操作系统进行数据缓存同步到磁盘（快，持久化没保证）
always：同步持久化，每次发生数据变更时，立即记录到磁盘（慢，安全）
everysec：表示每秒同步一次（默认值,很快，但可能会丢失一秒以内的数据）

4. aof重写机制

i ???????? 为什么会出现重写？
aof是以日志追加的方式将命令字符串协议保存在aof 文件中，随着我们使用redis的时间越长，最redis的操作越多，这个aof文件会越来越大，如果不做处理，总有会撑爆磁盘，所以就出现了重写，重写就是专门给aof文件廋身的
他的思想是：直接根据现在内存的数据，生成新的aof文件，然后去替换旧的aof文件，就可以把一下没用字符去掉，比如set k1 v1 ,然后我们del k1等等一些没用操作，这样我们的文件大小就会小很多
ii ???????? 触发机制?
当AOF文件增长到一定大小的时候Redis能够调用 bgrewriteaof对日志文件进行重写 。当AOF文件大小的增长率大于该配置项时自动开启重写（这里指超过原大小的100%）。
auto-aof-rewrite-percentage 100
当AOF文件增长到一定大小的时候Redis能够调用 bgrewriteaof对日志文件进行重写 。当AOF文件大小大于该配置项时自动开启重写
auto-aof-rewrite-min-size 64mb

注意：重写操作是通过fork子进程来完成的，所以正常的aof不会fork子进程，触发了重写才会

三.redis4.0后混合持久化机制

1. 开启混合持久化

???????? 4.0版本的混合持久化默认关闭的，通过aof-use-rdb-preamble配置参数控制，yes则表示开启，no表示禁用，5.0之后默认开启。
???????? 混合持久化是通过bgrewriteaof完成的，不同的是当开启混合持久化时，fork出的子进程先将共享的内存副本全量的以RDB方式写入aof文件，然后在将重写缓冲区的增量命令以AOF方式写入到文件，写入完成后通知主进程更新统计信息，并将新的含有RDB格式和AOF格式的AOF文件替换旧的的AOF文件。简单的说：新的AOF文件前半段是RDB格式的全量数据后半段是AOF格式的增量数据
???????? 优点：混合持久化结合了RDB持久化 和 AOF 持久化的优点, 由于绝大部分都是RDB格式，加载速度快，同时结合AOF，增量的数据以AOF方式保存了，数据更少的丢失
???????? 缺点：兼容性差，一旦开启了混合持久化，在4.0之前版本都不识别该aof文件，同时由于前部分是RDB格式，阅读性较差

四.小总结

1. rdb配置成save 1 1（代表一秒钟看一次，是否有1个数据更改，有就触发rdb）,aof采用默认值everysec（表示每秒同步一次），那么这两种方式有什么区别？

???????? rdb持久化会fork子进程，aof持久化不会fork子进程（重写的时候才会fork子进程，重写不会频繁触发），
???????? fork子进程，复制一个进程，比我们整个redis整体开销少不了多。所以如果配置成这样，性能开销相差是巨大的

2. redis提供了rdb持久化方案，为什么还要aof？

???????? 优化数据丢失问题，rdb会丢失最后一次快照后的数据，aof丢失不会超过2秒的数据

3. 如果aof和rdb同时存在，听谁的？

???????? aof

4. rdb和aof优势劣势

???????? rdb 适合大规模的数据恢复，对数据完整性和一致性不高 ， 在一定间隔时间做一次备份，如果redis意外down机的话，就会丢失最后一次快照后的所有操作
???????? aof 根据配置项而定，如果是默认配置，不会丢失超过两秒的数据