zookeeper总结

Posted 2021-03-04 feiyumo

一、概念

Zookeeper 是 一个典型的分布式数据一致性的解决方案.

1、zookeeper有两种运行模式：

　　集群模式和单机模式,还有一种伪集群模式,在单机模式下模拟集群的zookeeper服务

2、Zookeeper的典型应用场景:

• 数据发布/订阅
• 负载均衡
• 命名服务
• 分布式协调/通知
• 集群管理
• Master
• 分布式锁
• 分布式队列

二、zookeeper基础

1、zk是怎样保证主从节点的状态同步

zookeeper 的核心是原子广播，这个机制保证了各个 server 之间的同步。实现这个机制的协议叫做 zab 协议。 zab 协议有两种模式，分别是恢复模式（选主）和广播模式（同步）。

当服务启动或者在领导者崩溃后，zab 就进入了恢复模式，当领导者被选举出来，且大多数 server 完成了和 leader 的状态同步以后，恢复模式就结束了。状态同步保证了 leader 和 server 具有相同的系统状态。

2、zk的通知机制

客户端端会对某个 znode 建立一个 watcher 事件，当该 znode 发生变化时，这些客户端会收到 zookeeper 的通知，然后客户端可以根据 znode 变化来做出业务上的改变

3、zk的分布式锁实现方式

使用zookeeper实现分布式锁的算法流程，假设锁空间的根节点为/lock：

1. 客户端连接zookeeper，并在/lock下创建临时的且有序的子节点，第一个客户端对应的子节点为/lock/lock-0000000000，第二个为/lock/lock-0000000001，以此类推。
2. 客户端获取/lock下的子节点列表，判断自己创建的子节点是否为当前子节点列表中序号最小的子节点，如果是则认为获得锁，否则监听刚好在自己之前一位的子节点删除消息，获得子节点变更通知后重复此步骤直至获得锁；
3. 执行业务代码；
4. 完成业务流程后，删除对应的子节点释放锁。

三、分布式一致性协议

　　　　zk采用的是paxos协议.

　　　　常见的分布式一致性协议有: 两阶段提交协议，三阶段提交协议，向量时钟，paxos协议，Raft协议. 

　　1、两阶段提交协议(2PC)

　　　　　　两阶段提交协议，简称2PC，是比较常用的解决分布式事务问题的方式，要么所有参与进程都提交事务，要么都取消事务，即实现ACID中的原子性(A)的常用手段。

　　2、三阶段提交协议(3PC)

　　　　　　3PC就是在2PC基础上将2PC的提交阶段细分位两个阶段：预提交阶段和提交阶段

　　3、向量时钟

　　　　　　通过向量空间祖先继承的关系比较, 使数据保持最终一致性,这就是向量时钟的基本定义。

　　4、paxos协议

　　　　　　更多详细资料：https://blog.csdn.net/chdhust/article/details/52651741

四、zk选举机制

　　zookeeper默认的算法是FastLeaderElection，采用投票数大于半数则胜出的逻辑

1、名词解释

服务器ID（SID）

        比如有三台服务器，编号分别是1,2,3。
        编号越大在选择算法中的权重越大。

选举状态

        LOOKING，竞选状态。
        FOLLOWING，随从状态，同步leader状态，参与投票。
        OBSERVING，观察状态,同步leader状态，不参与投票。
        LEADING，领导者状态。

数据ID（ZXID也叫事务ID）

        服务器中存放的最新数据version。
        值越大说明数据越新，在选举算法中数据越新权重越大。

逻辑时钟

        也叫投票的次数，同一轮投票过程中的逻辑时钟值是相同的。每投完一次票这个数据就会增加，然后与接收到的其它服务器返回的投票信息中的数值相比，根据不同的值做出不同的判断。
        

2、全新集群选举

        假设目前有5台服务器，每台服务器均没有数据，它们的编号分别是1,2,3,4,5,按编号依次启动，它们的选举过程如下：

服务器1启动，给自己投票，然后发投票信息，由于其它机器还没有启动所以它收不到反馈信息，服务器1的状态一直属于Looking。

服务器2启动，给自己投票，同时与之前启动的服务器1交换结果，由于服务器2的编号大所以服务器2胜出，但此时投票数没有大于半数，所以两个服务器的状态依然是LOOKING。

服务器3启动，给自己投票，同时与之前启动的服务器1,2交换信息，由于服务器3的编号最大所以服务器3胜出，此时投票数正好大于半数，所以服务器3成为领导者，服务器1,2成为小弟。

服务器4启动，给自己投票，同时与之前启动的服务器1,2,3交换信息，尽管服务器4的编号大，但之前服务器3已经胜出，所以服务器4只能成为小弟。

服务器5启动，后面的逻辑同服务器4成为小弟。

3、非全新集群选举

        对于运行正常的zookeeper集群，中途有机器down掉，需要重新选举时，选举过程就需要加入数据ID、服务器ID和逻辑时钟。

数据ID：数据新的version就大，数据每次更新都会更新version。

服务器ID：就是我们配置的myid中的值，每个机器一个。

逻辑时钟：这个值从0开始递增,每次选举对应一个值。 如果在同一次选举中,这个值是一致的。

这样选举的标准就变成：

• 逻辑时钟小的选举结果被忽略，重新投票；
• 统一逻辑时钟后，数据id大的胜出；
• 数据id相同的情况下，服务器id大的胜出；