Redis全方位详解--磁盘持久化和容灾备份

Posted johnson108178

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Redis全方位详解--磁盘持久化和容灾备份相关的知识,希望对你有一定的参考价值。

序言

  在上一篇博客中,博客介绍了redis的数据类型使用场景和redis分布式锁的正确姿势。我们知道一旦Redis重启,存在redis里面的数据就会全部丢失。所以这篇博客中向大家介绍Redis的磁盘持久化。

 

REDIS持久化

  以每隔一段时间对redis进行快照的方式实现持久化

RDB持久化

  优点:1、对redis性能影响小。

     2、数据集比较大的时候,恢复速度比AOF快。

       3、RDB是一个非常紧凑的单一文件,很方便传到第三方数据中心(亚马逊S3),以便日后的灾难恢复。

  缺点:1、因为RDB的快照持久化方式,所以一旦出现宕机,你可能丢失几分钟的数据。

     2、RDB需要fork一个子进程来保存数据集到磁盘上,所以当数据集比较大的时候,就会造成redis在毫秒级内对客户端没反应。

  配置文件:在redis.conf文件中,有这样一段话。

################################ SNAPSHOTTING  ################################
#
# Save the DB on disk:
#
#   save <seconds> <changes>
#
#   Will save the DB if both the given number of seconds and the given
#   number of write operations against the DB occurred.
#
#   In the example below the behaviour will be to save:
#   after 900 sec (15 min) if at least 1 key changed
#   after 300 sec (5 min) if at least 10 keys changed
#   after 60 sec if at least 10000 keys changed
#
#   Note: you can disable saving completely by commenting out all "save" lines.
#
#   It is also possible to remove all the previously configured save
#   points by adding a save directive with a single empty string argument
#   like in the following example:
#
#   save ""

save 900 1
save 300 10
save 60 10000

说明在三种策略下,RDB会执行快照来将数据保存在磁盘上。例如 save 60 10000 意思是,"60秒内至少有1000个键被改动",这自动保存一次数据集。

notice:当redis刚启动,这时你使用redis-cli向redis中存入一条数据,会发现并没有生成dump.rdb。这是因为这时候还没有满组以上三种策略,所以不会执行bgsave命令,这时要么你等900秒,要么你进入redis-cli,主动执行bgsave命令。

技术分享图片

这样就会生成dump.rdb。

  工作方式:当需要数据持久化的时候,会执行一下操作

    1、Redis调用forks.同时拥有父进程和子进程。(这个过程是阻塞的)

    2、子进程将数据集写入一个临时的rdb文件中。

    3、Redis用新的rdb文件替换旧的rdb文件,并删除旧的rdb文件。

 

AOF持久化

  以向AOF文件中追加redis写操作方式实现持久化

  优点:1、AOF有三种策略:无fsync(完全依赖系统,性能很接近RDB)、每秒fsync、写时fsync(数据完全同步,但性能比较差)。默认使用每秒fsync,这种策略,即使redis宕机,最多也只会丢失一秒中的数据,兼顾性能和数据实时性。

       2、当向AOF文件写入命令时,由于某些问题(磁盘已满或写时宕机等)造成未写入完整的命令,可以使用redis-check-aof命令修复这些问题。

     3、当AOF文件过大时,会自动重写AOF文件。(例如我们只能了一百次incr count,就会在AOF文件中追加100次这个命令,那么重写后,就只会有一条类似set count 100的命令)。

     4、AOF 文件有序地保存了对redis执行的所有写入操作, 这些写入操作以 Redis 协议的格式保存,非常的容易读懂。因此当我们执行一些误操作(FLUSHALL)的时候,也可以通过修改AOF文件来修复数据。

  缺点:1、相同的数据集情况下,体积会比rdb大。

     2、除非使用无fsync,不然AOF的性能都慢于RDB。

  配置文件:同样去看redis.conf文件中的配置注释。主要配置如下

appendonly yes                      是否开启AOF持久化
appendfilename "appendonly.aof"     AOF文件名
# appendfsync always          每次写入时都追加的AOF文件中
appendfsync everysec          每秒同步一次AOF文件
# appendfsync no            不同步AOF文件,完全依赖操作系统

 下面还有一些其他参数配置,详细的可以去官网下载一份对应版本的redis.conf文件。

  工作原理:AOF重写和RDB创建快照一样,都巧妙的利用了redis写时复制机制:

    1、redis执行fork(),同时拥有父进程和子进程。

    2、子进程将新AOF命令写入到临时文件中。

    3、所有新执行的写入命令,redis一边将其放入内存缓存中,一边写入现有的AOF文件中,这样即使AOF重写中redis发生宕机,现有AOF文件也是安全的。

    4、当子进程完成AOF重写时,会给父进程发送一个信号,父进程在接收到信号后,会将内存缓存中的所有命令追加到新的AOF文件中。

    5、Redis用新的AOF替换原有的AOF。

 

如何选择使用哪种持久化

  1、如果你对数据的安全性要求非常高,那么建议两种都适用。

  2、如果你可以承受数分钟的数据损失,那么就可以使用rdb

  3、使用AOF

notice:redis官网有这样一段话:因为以上提到的种种原因, 未来我们可能会将 AOF 和 RDB 整合成单个持久化模型。或许很快,我们就不用纠结使用哪种持久化了。

 

从RDB切换到AOF

  1、为现有的rdb文件创建一个备份,并将备份放到一个安全的地方

  2、redis-cli: config set appendonly yes 执行这个命令时,redis会阻塞,知道AOF文件创建完成,然后新的写入命令会被追加到新的AOF文件中。

  3、redis-cli: config set save "" 关闭RDB持久化是可选的,因为你完全可以同时开启RDB和AOF这两种持久化功能。

  4、记得把前面的修改同步到redis.conf配置文件中,否则redis重启后,config set设置的配置就失效了。

 

备份redis数据及容灾

  牢记:确保你的数据由完整的备份。 磁盘故障,节点失效, 诸如此类的问题都可能让你的数据消失不见, 不进行备份是非常危险的。

  因为RDB的工作原理,所以redis对于数据备份是非常友好的。无论何时,复制RDB文件是绝对安全的。

    1、创建一个定期任务(cron job), 每小时将一个 RDB 文件备份到一个文件夹, 并且每天将一个 RDB 文件备份到另一个文件夹。

    2、确保快照的备份都带有相应的日期和时间信息, 每次执行定期任务脚本时, 使用 find 命令来删除过期的快照: 比如说, 你可以保留最近 48 小时内的每小时快照, 还可以保留最近一两个月的每日快照。

    3、至少每天一次, 将 RDB 备份到你的数据中心之外, 或者至少是备份到你运行 Redis 服务器的物理机器之外。

  数据备份了之后,为了做到容灾,你可以将备份后的数据放到第三方数据中心。



以上是关于Redis全方位详解--磁盘持久化和容灾备份的主要内容,如果未能解决你的问题,请参考以下文章

数据备份和容灾技术

K8S之Docker容器的备份和容灾方案

K8S之Docker容器的备份和容灾方案

K8S之Docker容器的备份和容灾方案

K8S之Docker容器的备份和容灾方案

13.在项目中部署redis企业级数据备份方案以及各种踩坑的数据恢复容灾演练