Hadoop应用实战100讲-分布式系统中协调和复制技术的原理

Posted 2021-12-23 文宇肃然

前言

分布式系统需要管理大规模服务器，软件需要运行在海量服务器上。管理的服务器越多，越需要在系统中提供协调（Coordination）的仲裁服务，从而让运行在多台服务器上的软件达成共识（Consensus）、形成一致（Agreement），典型如对象存储核心元数据。

协调服务本身也是由运行在多台服务器上的软件组成，当某台服务器发生故障并且无法修复时，还需要继续提供服务。

此时，引入复制（Replication）技术将数据在多台服务器之间复制，即使某台服务器发生故障也能快速、无缝地切换到其他服务器，从而继续提供仲裁服务，最终让客户端无感知地调用仲裁功能。

01协调和复制技术发展前世今生

下面先通过一张图来看一下协调和复制技术的发展史。

图1 协调和复制技术发展史

协调和复制问题，最先由产业界的实际场景引出，从双机高可用集群逐步演进到大规模分布式集群。

20世纪60年代从研究项目转化为Datapoint ARCnet商用产品，它逐步发展为DEC VAXcluster，从此之后学术界开始大规模研究。

• 1975年，学术界首次提出两组匪徒通信的问题。

• 19