分布式系统中有关一致性的理解

Posted 2020-10-14 像条狗汪汪叫

首先什么是一致性？

一致性就是分布式系统中相互独立多个节点就某个值达成一致。

 

具体可分为强一致性和弱一致性。

强一致性：在任意时刻，所有节点中的数据是一样的。同一时间点，你在节点A中获取到key1的值与在节点B中获取到key1的值应该都是一样的。

弱一致性：不保证任意时刻所有节点数据一样，有很多不同实现。最广泛实现的是最终一致性。所谓最终一致性，就是不保证在任意时刻任意节点上的同一份数据都是相同的，但是随着时间的迁移，不同节点上的同一份数据总是在向趋同的方向变化。也可以简单的理解为在一段时间后，节点间的数据会最终达到一致状态。

 

分布式一致性的应用场景：

多节点提供读写服务，保证高可用性，可伸缩性（ZooKeeper，DNS，redis集群）

 

分布式系统面临的问题：

* 消息传递异步无序(asynchronous): 现实网络不是一个可靠的信道，存在消息延时、丢失，节点间消息传递做不到同步有序(synchronous)

* 节点宕机(fail-stop): 节点持续宕机，不会恢复

* 节点宕机恢复(fail-recover): 节点宕机一段时间后恢复，在分布式系统中最常见

* 网络分化(network partition): 网络链路出现问题，将N个节点隔离成多个部分

* 拜占庭将军问题(byzantine failure)[2]: 节点或宕机或逻辑失败，甚至不按套路出牌抛出干扰决议的信息

 

而需要满足一致性的分布式系统设计一般前提是无拜占庭将军问题（内网可信）

此处要提到分布式系统的基础理论，FLP定理，即当只在节点宕机的模型中，不能同时满足可用性和强一致性。它的另一个角度提法是CAP理论，即强一致性、可用性和分区容错性，只能保证其中2个。

 

保证一致性的协议有很多，包括2PC，3PC，Paxos，raft和PacificA。

 

2PC：2阶段锁提交协议，保证多个数据分片上操作的原子性。（分布式事务）

节点分为协调者（coordinator）和参与者（participat），执行分为2个阶段

阶段一：coordinator发起一个提议，分别问询各participant是否接受。Participate执行事务操作，将undo和redo信息写入事务日志，向coordinator回复yes或no

阶段二：coordinator根据participant的反馈，提交或中止事务，如果participant全部yes则提交，只要有一个participant回复no就中止。Participate根据coordinator的commit/Rollback信息正式提交或终止事务，并释放占用资源，返回ack。

 

优点：原理简单、实现方便

缺点：同步阻塞、单点问题、数据不一致（协调者在未发送完commit请求前崩溃或网络原因部分participate没收到commit，则部分participate无法进行事务提交）、太过保守（如果参与者在与协调者通信期间出现故障，协调者只能靠超时机制来判断是否需要中断事务）

 

3PC：3阶段锁提交协议，保证多个数据分片上操作的原子性。（分布式事务）

相对2PC，分为询问，预提交，提交3个阶段（解决阻塞，但还是可能数据不一致）

过程：coordinator接收完participant的反馈(vote)之后，进入阶段2，给各个participant发送准备提交(prepare to commit)指令。participant接到准备提交指令后可以锁资源，但要求相关操作必须可回滚。coordinator接收完确认(ACK)后进入阶段3、进行commit/abort，3PC的阶段3与2PC的阶段2无异。协调者备份(coordinator watchdog)、状态记录(logging)同样应用在3PC。

 

Paxos算法（解决单点问题）

Paxos算法是当前最重要的一致性算法，所有一致性算法都是paxos或是paxos的简化版。

Paxos算法解决多份相同数据就某个值达成一致。正确性证明的理论基础：任意2个法定集合（超过半数节点组成的集合）的交集不为空。

角色：

从提案到表决流程涉及到三个角色：

* Proposer：提案者，可能有多个，它门负责提出提案。

* Acceptor：接受人，一定要有多个，它们对指定提案进行表决，同意则接受提案，不同意则拒绝。

* Learner：学习人，收集每位Acceptor接受的提案，并根据少数服从多数的原则，形成最终提案。

实际上，分布式系统中一个组件可以对应一种或多种角色。

算法描述：

* 第一阶段（Prepare阶段）

Proposer：

* 选取提案编号n，并向大多数Acceptor发送携带编号n的prepare请求。

Acceptor：

* 如果收到的提案编号n比自己已经收到的编号都要大，则向Proposer承诺不再接收编号小于n的提案，如果之前接受过提案，则同时将接受的提案中编号最大的提案及其编号发给Proposer。

* 如果收到的提案编号n小于自己已经收到提案编号的最大值，则拒绝。

* 第二阶段（Accept阶段）

Proposer：

* 首先，对接收到响应，逐条处理：

* 如果接收到拒绝，则暂不处理。

* 如果接收到同意，同时还接收到Acceptor已经接受的提案，则记下该提案及编号。

* 处理完响应后，统计拒绝和同意个数：

* 如果大多数拒绝，则准备下次提案。

* 如果大多数同意，从这些Acceptor已经接受的提案中选取提案编号最大的提案作为自己的提案，没有则使用自己的提案，逐个向Acceptor发送Accept消息。

Acceptor：

* 如果收到的提案编号n小于自己已经收到最大提案编号，则拒绝。

* 如果收到的提案编号n等于自己已经收到最大提案编号，则接受该提案。

* 如果收到的提案编号n大于自己已经收到最大提案编号，则拒绝。

* 形成共识（与Prepare&Accept阶段并行）

Acceptor：

* 每当接受一个提案，则将该提案及编号发给Learner。

Learner：

* 记录每一个Acceptor当前接受的提案，一个Acceptor先后发来多个提案，则保留编号最大的提案。

* 统计每个提案被接受的Acceptor个数，如果超过半数，则形成共识。

 

Raft和PacificA是基于paxos的简化实现，更容易理解更容易实现。等看了再总结下

 

http://www.cnblogs.com/liulaoshi/p/7821339.html 

参考文章：

https://segmentfault.com/a/1190000004474543

https://www.zhihu.com/question/19787937

http://www.cnblogs.com/bangerlee/p/5268485.html

http://www.voidcn.com/article/p-xvyhhccc-dm.html