zookeeper概述和部署

Posted 2022-11-28 敲击岁月

zookeeper概述和部署

• zookeeper概述
• • zookeeper定义
  • zookeeper工作机制
  • zookeeper特点
  • zookeeper数据结构
  • zookeeper应用场景
  • zookeeper选举机制
  • • 第一次启动选举机制（5台）
    • 非第一次启动选举机制
• zookeeper集群部署

zookeeper概述

zookeeper定义

zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目

zookeeper工作机制

zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接收观察者的注册，一旦这些数据的状态发生变化，zookeeper将负责通知已经在zookeeper上注册的哪些观察者做出相应的反应。也就是说zookeeper=文件系统+通知机制

zookeeper特点

1.zookeeper：一个领导者（leader），多个跟随者（follower）组成的集群
2.zookeeper集群中只要有半数以上节点存活，zookeeper集群就能正常服务，所以zookeeper适合安装奇数台服务器
3.全局数据一致：每个server保存一份相同的数据副本，client无论连接到哪个server，数据都是一致的
4.更新请求顺序执行，来自同一个client的更新请求按其发送顺序依次执行，即先进先出
5.数据更新原子性，一次数据更新要么成功，要么失败
6.实时性，在一定时间范围内，client能读到最新数据

zookeeper数据结构

zookeeper数据模型与linux文件系统很类似，整体上可以看做一棵树，每个节点称作一个znode，每一个znode默认能够存储1MB的数据，每个znode都可以通过其路径唯一标识

zookeeper应用场景

提供的服务包括：统一命名服务，统一配置管理，统一集群管理，服务器节点动态上下线，软负载均衡

统一命名服务	在分布式环境下，经常需要对应用服务进行统一命名，便于辨识。例如：IP不容易记住，而域名容易记住 。
统一配置管理	（1）在分布式环境下，配置文件同步非常常见。一般要求一个集群中，所有节点的配置信息是一致的，比如kafka集群，对配置文件修改后，希望能够快速同步到各个节点上
	（2）配置管理可交由zookeeper实现。可将配置信息写入zookeeper上的一个znode，各个客户端服务器监听这个znode。一旦znode中的数据被修改，zookeeper将通知各个客户端服务器
统一集群管理	（1）分布式环境中，实现掌握每个节点的状态是必要的，可根据节点实时状态做出一些调整
	（2）zookeeper可以实现实时监控节点状态变化。可将节点信息写入zookeeper上的一个znode。监听这个znode可获取它的实时状态变化
服务器动态上下线	客户端能实时洞察到服务器上下线的变化
软负载均衡	在zookeeper中记录每天服务器的访问数，让访问数最少的服务器去处理最新的客户端请求

zookeeper选举机制

第一次启动选举机制（5台）

1.服务器1启动，发起一次选举。服务器1投自己一票。此时服务器1票数一票，不够半数以上（3票），选举无法完成，服务器1状态保持为looking
2.服务器2启动，再发起一次选举，服务器1和服务器2分别投自己一票并交换选票信息，此时服务器1发现服务器2的myid比自己目前投票推举服务器1的大，更改选票为推举服务器2.此时服务器1票数0票，服务器2票数2票，没有半数以上，选举无法完成，服务器1,2状态保持looking
3.服务器3启动，发起一次选举，此时服务器1和2都会更改选票为服务器3.此时投票结果：服务器1为0票，服务器2为0票，服务器3为3票，此时服务器3的票数已经超过半数，服务器3当选为leader。服务器1,2更改状态为following，服务器3更改状态为leading
4.服务器4启动，发起一次选举，此时服务器1,2，3已经不是looking状态，不会更改选票信息。交换选票信息结果:服务器3位3票，服务器4位1票，此时服务器4服从多数，更改选票信息为服务器3，并更改状态为following
5.服务器5启动，同4一样

非第一次启动选举机制

1.当zookeeper集群中的一台服务器出现以下两种情况之一时，就会开始进入leader选举
1）服务器初始化启动
2）服务器运行期间无法和leader保持连接

2.而当一台机器进入leader选举流程时，当前集群也可能会处于以下两种状态
1）集群中本来就已经存在一个leader
对于已经leader的情况，机器试图去选举leader时，会被告知当前服务器的leader，对于该机器来说，仅仅需要和leader机器建立连接，并进行状态同步即可
2）集群中确定不存在leader
假设zookeeper由5台服务器组成，SID分别为1,2，3,4，5，zxid分别为8,8，8,7,7，并且此时sid为3的服务器为leader。某一时刻，3和5服务器出现故障，因此开始进行leader选举
选举leader规则：
1.epoch大的直接胜出
2.epoch相同，事务id大的胜出
3.事务id相同，服务器id大的胜出
所以，3和5故障后，2会成为leader

zookeeper集群部署

环境准备：
3台服务器做zookeeper集群
192.168.146.41
192.168.146.10
192.168.146.11

#!/bin/bash
#chkconfig:2345 20 90
#description: zookeeper service Control script
ZK_HOME='/usr/local/zookeeper-3.5.7'
case $1 in
start)
echo "---------- zookeeper 启动----------"
$ZK_HOME/bin/zkServer.sh start
;;
stop)
echo "---------- zookeeper 停止----------"
$ZK_HOME/bin/zkServer.sh stop
;;
restart)
echo "---------- zookeeper重启 ----------"
$ZK_HOME/bin/zkServer.sh restart
;;
status)
echo "---------- zookeeper 状态---"
$ZK_HOME/bin/zkServer.sh status
;;
*)
echo "Usage: $0 start|stop|restart|status"
esac
~