那一天，被Redis主从架构支配的恐惧

Posted 2021-12-24 Java3y

面试官：要不你来讲讲你最近在看的点呗？可以拉出来一起讨论下(今天我也不知道要问什么)

候选者：最近在看「Redis」相关的内容

面试官：嗯，我记得已经问过Redis的基础和持久化了

面试官：要不你来讲讲你公司的Redis是什么架构的咯？

候选者：我前公司的Redis架构是「分片集群」，使用的是「Proxy」层来对Key进行分流到不同的Redis服务器上

候选者：支持动态扩容、故障恢复等等…

面试官：那你来聊下Proxy层的架构和基本实现原理？

候选者：抱歉，这块由中间件团队负责，具体我也没仔细看过

候选者：…

面试官：….

候选者：不过，我可以给你讲讲现有常见开源的Redis架构（：

面试官：那只能这样了，好吧，你开始吧

候选者：那我从基础讲起吧？

候选者：在之前提到了Redis有持久化机制，即便Redis重启了，可以依靠RDB或者AOF文件对数据进行重新加载

候选者：但在这时，只有一台Redis服务器存储着所有的数据，此时如果Redis服务器「暂时」没办法修复了，那依赖Redis的服务就没了

候选者：所以，为了Redis「高可用」，现在基本都会给Redis做「备份」：多启一台Redis服务器，形成「主从架构」

候选者：「从服务器」的数据由「主服务器」复制过去，主从服务器的数据是一致的

候选者：如果主服务器挂了，那可以「手动」把「从服务器」升级为「主服务器」，缩短不可用时间

面试官：那「主服务器」是如何把自身的数据「复制」给「从服务器」的呢？

候选者：「复制」也叫「同步」，在Redis使用的是「PSYNC」命令进行同步，该命令有两种模型：完全重同步和部分重同步

候选者：可以简单理解为：如果是第一次「同步」，从服务器没有复制过任何的主服务器，或者从服务器要复制的主服务器跟上次复制的主服务器不一样，那就会采用「完全重同步」模式进行复制

候选者：如果只是由于网络中断，只是「短时间」断连，那就会采用「部分重同步」模式进行复制

候选者：（假如主从服务器的数据差距实在是过大了，还是会采用「完全重同步」模式进行复制）

面试官：那「同步」的原理过程可以稍微讲下嘛？

候选者：嗯，没问题的

候选者：主服务器要复制数据到从服务器，首先是建立Socket「连接」，这个过程会干一些信息校验啊、身份校验啊等事情

候选者：然后从服务器就会发「PSYNC」命令给主服务器，要求同步（这时会带「服务器ID」RUNID和「复制进度」offset参数，如果从服务器是新的，那就没有）

候选者：主服务器发现这是一个新的从服务器（因为参数没带上来），就会采用「完全重同步」模式，并把「服务器ID」(runId)和「复制进度」(offset)发给从服务器，从服务器就会记下这些信息。

面试官：嗯…

候选者：随后，主服务器会在后台生成RDB文件，通过前面建立好的连接发给从服务器

候选者：从服务器收到RDB文件后，首先把自己的数据清空，然后对RDB文件进行加载恢复

候选者：这个过程中，主服务器也没闲着（继续接收着客户端的请求）

面试官：嗯…

候选者：主服务器把生成RDB文件「之后修改的命令」会用「buffer」记录下来，等到从服务器加载完RDB之后，主服务器会把「buffer」记录下的命令都发给从服务器

候选者：这样一来，主从服务器就达到了数据一致性了（复制过程是异步的，所以数据是『最终一致性』）

面试官：嗯…

面试官：那「部分重同步」的过程呢？

候选者：嗯，其实就是靠「offset」来进行部分重同步。每次主服务器传播命令的时候，都会把「offset」给到从服务器

候选者：主服务器和从服务器都会将「offset」保存起来（如果两边的offset存在差异，那么说明主从服务器数据未完全同步）

候选者：从服务器断连之后，就会发「PSYNC」命令给主服务器，同样也会带着RUNID和offset（重连之后，这些信息还是存在的）

面试官：嗯…

候选者：主服务器收到命令之后，看RUNID是否能对得上，对得上，说明这可能以前就复制过一部分了

候选者：接着检查该「offset」是否在主服务器记录的offset还存在

候选者：（这里解释下，因为主服务器记录offset使用的是一个环形buffer，如果该buffer满了，会覆盖以前的记录）

候选者：如果找到了，那就把从缺失的一部分offer开始，把对应的修改命令发给从服务器

候选者：如果从环形buffer没找到，那只能使用「完全重同步」模式再次进行主从复制了

面试官：主从复制这块我了解了，那你说到现在，Redis主库如果挂了，你还是得「手动」将从库升级为主库啊

面试官：你知道有什么办法能做到「自动」进行故障恢复吗？

候选者：必须的啊，接下来就到了「哨兵」登场了

面试官：开始你的表演吧。

候选者：「哨兵」干的事情主要就是：监控（监控主服务器的状态）、选主（主服务器挂了，在从服务器选出一个作为主服务器）、通知（故障发送消息给管理员）和配置（作为配置中心，提供当前主服务器的信息）

候选者：可以把「哨兵」当做是运行在「特殊」模式下的Redis服务器，为了「高可用」，哨兵也是集群架构的。

候选者：首先它需要跟Redis主从服务器创建对应的连接（获取它们的信息）

候选者：每个哨兵不断地用ping命令看主服务器有没有下线，如果主服务器在「配置时间」内没有正常响应，那当前哨兵就「主观」认为该主服务器下线了

候选者：其他「哨兵」同样也会ping该主服务器，如果「足够多」（还是看配置）的哨兵认为该主服务器已经下线，那就认为「客观下线」，这时就要对主服务器执行故障转移操作。

面试官：嗯…

候选者：「哨兵」之间会选出一个「领头」，选出领头的规则也比较多，总的来说就是先到先得(哪个快，就选哪个)

候选者：由「领头哨兵」对已下线的主服务器进行故障转移

面试官：嗯…

候选者：首先要在「从服务器」上挑选出一个，来作为主服务器

候选者：（这里也挑选讲究，比如：从库的配置优先级、要判断哪个从服务器的复制offset最大、RunID大小、跟master断开连接的时长…)

候选者：然后，以前的从服务器都需要跟新的主服务器进行「主从复制」

候选者：已经下线的主服务器，再次重连的时候，需要让他成为新的主服务器的从服务器

面试官：嗯…我想问问，Redis在主从复制的和故障转移的过程中会导致数据丢失吗

候选者：显然是会的，从上面的「主从复制」流程来看，这个过程是异步的（在复制的过程中：主服务器会一直接收请求，然后把修改命令发给从服务器）

候选者：假如主服务器的命令还没发完给从服务器，自己就挂掉了。这时候想要让从服务器顶上主服务器，但从服务器的数据是不全的（：

候选者：还有另一种情况就是：有可能哨兵认为主服务器挂了，但真实是主服务器并没有挂( 网络抖动)，而哨兵已经选举了一台从服务器当做是主服务器了，此时「客户端」还没反应过来，还继续写向旧主服务器写数据

候选者：等到旧主服务器重连的时候，已经被纳入到新主服务器的从服务器了…所以，那段时间里，客户端写进旧主服务器的数据就丢了

候选者：上面这两种情况（主从复制延迟&&脑裂），都可以通过配置来「尽可能」避免数据的丢失

候选者：（达到一定的阈值，直接禁止主服务器接收写请求，企图减少数据丢失的风险）

面试官：要不再来聊聊Redis分片集群？

候选者：嗯…分片集群说白了就是往每个Redis服务器存储一部分数据，所有的Redis服务器数据加起来，才组成完整的数据（分布式）

候选者：要想组成分片集群，那就需要对不同的key进行「路由」（分片）

候选者：现在一般的路由方案有两种：「客户端路由」(SDK)和「服务端路由」(Proxy)

候选者：客户端路由的代表（Redis Cluster），服务端路由的代表（Codis）

面试官：要不来详细讲讲它们的区别呗？

候选者：今天有点儿困了，要不下次呗？

本文总结：

• Redis实现高可用：

  • AOF/RDB持久化机制
  • 主从架构（主服务器挂了，手动由从服务器顶上）
  • 引入哨兵机制自动故障转义

• 主从复制原理：

  • PSYNC命令两种模式：完全重同步、部分重同步
  • 完全重同步：主从服务器建立连接、主服务器生成RDB文件发给从服务器、主服务器不阻塞（相关修改命令记录至buffer）、将修改命令发给从服务器
  • 部分重同步：从服务器断线重连，发送RunId和offset给主服务器，主服务器判断offset和runId，将还未同步给从服务器的offset相关指令进行发送

• 哨兵机制：

  • 哨兵可以理解为特殊的Redis服务器，一般会组成哨兵集群
  • 哨兵主要工作是监控、告警、配置以及选主
  • 当主服务器发生故障时，会「选出」一台从服务器来顶上「客观下线」的服务器，由「领头哨兵」进行切换

• 数据丢失：

  • Redis的主从复制和故障转移阶段都有可能发生数据丢失问题（通过配置尽可能避免）

【对线面试官+从零编写Java项目】 持续高强度更新中！求star

原创不易！！求三连！！