Redis主从架构之全量同步原理与增量同步原理

Posted 2022-05-20 _瞳孔

主从集群

单节点Redis的并发能力是有上限的，要进一步提高Redis的并发能力，就需要搭建主从集群，实现读写分离。

全量同步原理

第一是全量同步，主节点把RDB发送给从节点，从节点获取主节点

这里有两个很重要的概念:

• Replication ld：简称replid，是数据集的标记，id一致则说明是同一数据集。每一个master都有唯一的replid,slave则会继承master节点的replid
• offset：偏移量，随着记录在repl_baklog中的数据增多而逐渐增大。slave完成同步时也会记录当前同步的offset。如果slive的offset小于master的offset，说明slave数据落后于master，需要更新。

因此slave做数据同步，必须向master声明自己的replication id和offset，master才可以判断到底需要同步哪些数据

那么怎么判断slave是不是第一次来同步数据呢，可以用Replication ld，下图是上图的详细描述，slave建立连接后，向master发送自己的replid和offset，如果slave的replid和master的不一致，则为第一次同步数据，并返回master的replid和offset

简述全量同步的流程：

• slave节点请求增量同步
• master节点判断replid，发现不一致，拒绝增量同步
• master将完整内存数据生成RDB，发送RDB到slave
• slave清空本地数据，加载master的RDB
• master将RDB期间的命令记录在repl_baklog，并持续将log中的命令发送给slave
• slave执行接收到的命令，保持与master之间的同步

增量同步原理

主从第一次同步是全量同步，但如果slave重启后同步，则执行增量同步

需要注意的是，repl_baklog大小有上限，写满后会覆盖最早的数据。如果slave断开时间过久，导致尚未备份的数据被覆盖，则无法基于log做增量同步，只能再次全量同步。

可以从以下几个方面来优化Redis主从就集群:

• 在master中配置repl-diskless-sync yes启用无磁盘复制，避免全量同步时的磁盘IO
• Redis单节点上的内存占用不要太大，减少RDB导致的过多磁盘IO
• 适当提高repl_baklog的大小，发现slave宕机时尽快实现故障恢复，尽可能避免全量同步
• 限制一个master上的slave节点数量，如果实在是太多slave，则可以采用主-从-从链式结构，减少master压力

简述全量同步和增量同步区别?

• 全量同步:master将完整内存数据生成RDB，发送RDB到slave。后
  续命令则记录在repl_baklog，逐个发送给slave。
• 增量同步:slave提交自己的offset到master, master获取repl_baklog中从offset之后的命令给slave

什么时候执行全量同步?

• slave节点第一次连接master节点时
• slave节点断开时间太久，repl_baklog中的offset已经被覆盖时

什么时候执行增量同步?

• slave节点断开又恢复，并且在repl baklog中能找到offset时

如果有兴趣了解更多相关内容，欢迎来我的个人网站看看：瞳孔的个人网站