Redis主从架构之全量同步原理与增量同步原理

Posted _瞳孔

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Redis主从架构之全量同步原理与增量同步原理相关的知识,希望对你有一定的参考价值。

主从集群

单节点Redis的并发能力是有上限的,要进一步提高Redis的并发能力,就需要搭建主从集群,实现读写分离。

全量同步原理

第一是全量同步,主节点把RDB发送给从节点,从节点获取主节点

这里有两个很重要的概念:

  • Replication ld:简称replid,是数据集的标记,id一致则说明是同一数据集。每一个master都有唯一的replid,slave则会继承master节点的replid
  • offset:偏移量,随着记录在repl_baklog中的数据增多而逐渐增大。slave完成同步时也会记录当前同步的offset。如果slive的offset小于master的offset,说明slave数据落后于master,需要更新。

因此slave做数据同步,必须向master声明自己的replication id和offset,master才可以判断到底需要同步哪些数据

那么怎么判断slave是不是第一次来同步数据呢,可以用Replication ld,下图是上图的详细描述,slave建立连接后,向master发送自己的replid和offset,如果slave的replid和master的不一致,则为第一次同步数据,并返回master的replid和offset

简述全量同步的流程:

  • slave节点请求增量同步
  • master节点判断replid,发现不一致,拒绝增量同步
  • master将完整内存数据生成RDB,发送RDB到slave
  • slave清空本地数据,加载master的RDB
  • master将RDB期间的命令记录在repl_baklog,并持续将log中的命令发送给slave
  • slave执行接收到的命令,保持与master之间的同步

增量同步原理

主从第一次同步是全量同步,但如果slave重启后同步,则执行增量同步

需要注意的是,repl_baklog大小有上限,写满后会覆盖最早的数据。如果slave断开时间过久,导致尚未备份的数据被覆盖,则无法基于log做增量同步,只能再次全量同步。

可以从以下几个方面来优化Redis主从就集群:

  • 在master中配置repl-diskless-sync yes启用无磁盘复制,避免全量同步时的磁盘IO
  • Redis单节点上的内存占用不要太大,减少RDB导致的过多磁盘IO
  • 适当提高repl_baklog的大小,发现slave宕机时尽快实现故障恢复,尽可能避免全量同步
  • 限制一个master上的slave节点数量,如果实在是太多slave,则可以采用主-从-从链式结构,减少master压力

简述全量同步和增量同步区别?

  • 全量同步:master将完整内存数据生成RDB,发送RDB到slave。后
    续命令则记录在repl_baklog,逐个发送给slave。
  • 增量同步:slave提交自己的offset到master, master获取repl_baklog中从offset之后的命令给slave

什么时候执行全量同步?

  • slave节点第一次连接master节点时
  • slave节点断开时间太久,repl_baklog中的offset已经被覆盖时

什么时候执行增量同步?

  • slave节点断开又恢复,并且在repl baklog中能找到offset时

如果有兴趣了解更多相关内容,欢迎来我的个人网站看看:瞳孔的个人网站

以上是关于Redis主从架构之全量同步原理与增量同步原理的主要内容,如果未能解决你的问题,请参考以下文章

Redis主从同步原理-SYNC

Redis主从同步原理-SYNC

Redis高可用架构之主从同步

谈谈redis主从架构的原理

Redis主从复制原理总结

第六课补充01——主从复制原理,哨兵机制