zookeeper 是什么应用场景有哪些？docker 部署zookeeperzookeeper命令

Posted 2022-06-17 CodingAnHour

1、什么是zookeeper

ZooKeeper 是一个分布式的，开放源码的分布式应用程序协同服务。ZooKeeper 的设计目标是将那些复杂且容易出错的分布式一致性服务封装起来，构成一个高效可靠的原语集，并以一系列简单易用的接口提供给用户使用。

ZooKeeper 适用于存储和协同相关的关键数据（基于内存的数据库），不适合用于大数据量存储。有两个核心的概念：文件系统数据结构+监听通知机制。

1.1、文件系统数据结构

Zookeeper维护一个类似文件系统的数据结构：每个子目录项都被称作为 znode(目录节点)，和文件系统类似，我们能够自由的增加、删除 znode，在一个znode下增加、删除子znode。 有六种类型的znode：

1. PERSISTENT­：持久化目录节点 客户端与zookeeper断开连接后，该节点依旧存在，只要不手动删除该节点，他将永远存在
   命令：create path data

2. PERSISTENT_SEQUENTIAL­：持久化顺序编号目录节点 客户端与zookeeper断开连接后，该节点依旧存在，只是Zookeeper给该节点名称进行顺序编号
   命令：create -s path data

3. EPHEMERAL：­临时目录节点 客户端与zookeeper断开连接后，该节点被删除
   命令：create -e path data

4. EPHEMERAL_SEQUENTIAL：­临时顺序编号目录节点 客户端与zookeeper断开连接后，该节点被删除，只是Zookeeper给该节点名称进行顺序编号
   命令：create -s -e path data

5. Container ：节点（3.5.3 版本新增，如果Container节点下面没有子节点，则Container节点 在未来会被Zookeeper：自动清除,定时任务默认60s 检查一次）
   命令：create -c path data

6. TTL：节点( 默认禁用，只能通过系统配置 zookeeper.extendedTypesEnabled=true 开启，不稳定)
   命令：create -t path data
   

1.2、监听通知机制

客户端注册监听它关心的任意节点，或者目录节点及递归子目录节点

1. 如果注册的是对某个节点的监听，则当这个节点被删除，或者被修改时，对应的客户端将被通知
2. 如果注册的是对某个目录的监听，则当这个目录有子节点被创建，或者有子节点被删除，对应的客户端将被通知
3. 如果注册的是对某个目录的递归子节点进行监听，则当这个目录下面的任意子节点有目录结构的变化（有子节点被创建，或被删除）或者根节点有数据变化时，对应的客户端将被通知。

注意：所有的通知都是一次性的，及无论是对节点还是对目录进行的监听，一旦触发，对应的监听即被移除。递归子节点，监听是对所有子节点的，所以，每个子节点下面的事件同样只会被触发一次。

2、zookeeper的应用场景

1. 分布式配置中心
2. 分布式注册中心
3. 分布式锁
4. 分布式队列
5. 集群选举
6. 分布式屏障
7. 发布/订阅

3、docker部署zookeeper

1、安装最新的

docker pull zookeeper
安装指定版本zookeeper，dockerhub中查询需要安装的版本
docker pull zookeeper:3.5.8

2、创建挂在目录

mkdir -p /usr/local/docker/zookeeper/conf
mkdir -p /usr/local/docker/zookeeper/data

3、创建配置文件

vi zoo.cfg

4、配置配置文件内容

# 端口号
clientPort=2181
# 主要用来配置zookeeper server数据的存放路径
dataDir=/data
# 主要用来存储事物日志，如果该参数不配置，则事物日志存储在dataDir路下
dataLogDir=/data/log
# zookeeper中使用的基本时间度量单位，单位为毫秒。zookeeper客户端与服务器之间的心跳时间就是一个tickTime单位。
# 默认值为2000毫秒，即2秒
tickTime=2000
# Follower连接到Leader并同步数据的最大时间，如果zookeeper数据比较大，可以考虑调大这个值来避免报错
initLimit=5
# Follower同步Leader的最大时间
syncLimit=2
# 该配置项指定开启了ZooKeeper的自动清理功能后(见下一个配置项)，每次自动清理时要保留的版本数量。
# 默认值为3，最小值也为3。它表示在自动清理时，会保留最近3个快照以及这3个快照对应的事务日志。其它的所有快照和日志都清理。
autopurge.snapRetainCount=3
# 指定触发自动清理功能的时间间隔，单位为小时，值为大于或等于1的整数，默认值为0，表示不开启自动清理功能。
autopurge.purgeInterval=0
# 在套接字级别上限制同一客户端的并发连接数。因为同一客户端IP地址相同，可能会调度到同一个ZooKeeper服务器节点上。
# 这个配置项是为了避免DoS攻击。默认值为60，设置为0表示不做任何限制。
maxClientCnxns=60

5、docker 启动zookeeper

docker run --privileged=true --network host -v /usr/local/docker/zookeeper/data:/data -v /usr/local/docker/zookeeper/conf:/conf --name zookeeper -d zookeeper:3.5.8

6、命令说明

• –network host: 使用主机上的网络配置，如果不用这种模式，而用默认的bridge模式，会导致容器跨主机间通信失败
• -v /usr/local/docker/zookeeper/data:/data：主机的数据目录挂载到容器/data下
• -v /usr/local/docker/zookeeper/conf:/conf： 主机的配置目录挂载到容器的/conf下，容器内的zkServer.sh默认会读取/conf/zoo.cfg下的配置
• 启动完成后，单机主机的2181端口开放出来了（注意：这种配置通过127.0.0.1:2181不能访问zookeeper，只能访问192.168.0.200:2181）

7、查看容器启动日志情况

docker ps 或 docker logs zookeeper 查看容器是否成功启动是否有报错，或查看挂载的data目录是否有文件产生
或进入容器中查看zkServer启动状态
docker exec -it zookeeper /bin/bash
cd bin
zkServer.sh status
启动成功

8、容器内开启一个客户端
docker exec -it zookeeper /bin/bash
./bin/zkCli.sh

4、命令

help 查看支持的命令

命令中[ ]代表可选参数

1. 创建zookeeper 节点命令

• create [-s] [-e] [-c] [-t ttl] path [data] [acl]

  不加任何可选参数，创建的是持久化节点
  -s: 顺序节点
  -e: 临时节点
  -c: 容器节点
  -t: 可以给节点添加过期时间，默认禁用，需要通过系统参数启用

  -Dzookeeper.extendedTypesEnabled=true, znode.container.checkIntervalMs : (Java system property only) New in 3.5.1: The time interval in milliseconds for each check of candidate container and ttl nodes. Default is “60000”.

1. 在根目录创建节点：create /znode1
   
2. 创建顺序节点：create -s /znode1/znode1- value
   参数说明 ‘/znode1/znode1-’：代表在/znode1目录下创建一个以‘znode1-’为开头的顺序节点；
   默认为10个0；
   
3. 创建临时节点：create -e /ephemeral value
   会话（session）关闭时失效
   
4. 创建容器节点：create ‐c /container
   容器节点主要用来容纳字节点，如果没有给其创建子节点，容器节点表现和持久化节点一样，如果给容器节点创建了子节点，后续又把子节点清空，容器节点也会被zookeeper删除。
   容器节点删除的机制不是立刻删除，而是zookeeper内部通过一定的机制删除的
   

2. 事件监听机制

1. 针对节点的监听：通过事件触发后，对应的注册监听立刻被移除，所以事件监听是一次性的
get -w /znode1/0000000002：注册监听的同时获取数据，此时数据修改就会收到监听的推送，即使是相同的data也会触发，因为内容的事物id信息也发生了变化
   
   stat -w /znode1/0000000002：对节点进行监听，且获取元数据信息，同上，只要数据发生变化就会收到监听的推送
   
2. 针对目录的监听，目录的变化(创建子目录、删除目录)，会触发事件，且一旦触发，对应的监听也会被移除，后续对节点的创建没有触发监听事件
   ls -w /znode1
   
3. 针对递归子目录的监听，如果目录下有多个子目录，每个子目录发生变化会触发一次
ls -R -w /znode1/0000000002
   
   

3. Zookeeper 的 ACL 权限控制( Access Control List )

Zookeeper 的ACL 权限控制,可以控制节点的读写操作,保证数据的安全性，Zookeeper ACL 权限设置分为 3 部分组成，分别是：权限模式（Scheme）、授权对象（ID）、权限信息（Permission）。最终组成一条例如“scheme🆔permission”格式的 ACL 请求信息

• Scheme（权限模式）：用来设置 ZooKeeper 服务器进行权限验证的方式。ZooKeeper 的权限验证方式大体分为：

  • 范围验证：所谓的范围验证就是说 ZooKeeper 可以针对一个 IP 或者一段 IP 地址授予某种权限。比如我们可以让一个 IP 地址为“ip：192.168.0.110”的机器对服务器上的某个数据节点具有写入的权限。或者也可以通过“ip:192.168.0.1/24”给一段 IP 地址的机器赋权。
  • 口令验证：也可以理解为用户名密码的方式。在 ZooKeeper 中这种验证方式是 Digest 认证，而 Digest 这种认证方式首先在客户端传送“username:password”这种形式的权限表示符后，ZooKeeper 服务端会对密码部分使用 SHA-1 和 BASE64 算法进行加密， 以保证安全性。
  • 种Super权限模式：Super可以认为是一种特殊的 Digest 认证。具有 Super 权限的客户端，可以对 ZooKeeper 上的任意数据节点进行任意操作。

• 授权对象（ID）：授权对象就是说我们要把权限赋予谁，而对应于 4 种不同的权限模式来说，如果我们选择采用 IP 方式，使用的授权对象可以是一个 IP 地址或 IP 地址段；而如果使用 Digest 或 Super 方式，则 对应于一个用户名。如果是 World 模式，是授权系统中所有的用户。

• 权限信息（Permission）：权限就是指我们可以在数据节点上执行的操作种类，如下所示：在 ZooKeeper 中已经定义好的 权限有 5 种：

  • 数据节点（c: create）创建权限，授予权限的对象可以在数据节点下创建子节点；
  • 数据节点（w: wirte）更新权限，授予权限的对象可以更新该数据节点；
  • 数据节点（r: read）读取权限，授予权限的对象可以读取该节点的内容以及子节点的列表信息；
  • 数据节点（d: delete）删除权限，授予权限的对象可以删除该数据节点的子节点；
  • 数据节点（a: admin）管理者权限，授予权限的对象可以对该数据节点体进行 ACL 权限设置。

5、ZooKeeper 内存数据和持久化

Zookeeper数据的组织形式为一个类似文件系统的数据结构，而这些数据都是存储在内存中的， 所以可以认为，Zookeeper是一个基于内存的小型数据库

5.1、事务日志

针对每一次客户端的事务操作，Zookeeper都会将他们记录到事务日志中，当然，Zookeeper也 会将数据变更应用到内存数据库中。我们可以在zookeeper的主配置文件zoo.cfg 中配置内存中 的数据持久化目录，也就是事务日志的存储路径 dataLogDir. 如果没有配置dataLogDir（非必 填）, 事务日志将存储到dataDir （必填项）目录， zookeeper提供了格式化工具可以进行数据查看事务日志数据（因为日志文件是二进制的）

1. 进入容器中 docker exec -it zookeeper /bin/bash

2. 进入bin目录 cd bin

3. 执行命令查看日志，jute：序列化工具；LogFormatter：main函数所在的目录；/data/log/version-2/log.1：日志文件目录

   java -cp slf4j-api-1.7.25.jar:zookeeper-3.5.8.jar:zookeeper-jute-3.5.8.jar org.apache.zookeeper.server.LogFormatter /data/log/version-2/log.1

   
   从左到右分别记录了操作时间，客户端会话ID，CXID（客户端id）,ZXID（事物id）,操作类型，节点路径，节点数据（用#+ascii 码表示），节点版本。

Zookeeper进行事务日志文件操作的时候会频繁进行磁盘IO操作，事务日志的不断追加写操作会触发底层磁盘IO为文件开辟新的磁盘块，即磁盘Seek。因此，为了提升磁盘IO的效率，Zookeeper在创建事务日志文件的时候就进行文件空间的预分配- 即在创建文件的时候，就向操作系统申请一块大一点的磁盘块。这个预分配的磁盘大小可以通过系统参数 zookeeper.preAllocSize 进行配置。

事务日志文件名为： log.<当时最大事务ID>，应为日志文件时顺序写入的，所以这个最大事务ID也将是整个事务日志文件中，最小的事务ID，日志满了即进行下一次事务日志文件的创建

5.2、数据快照

数据快照用于记录Zookeeper服务器上某一时刻的全量数据，并将其写入到指定的磁盘文件中。

可以通过配置snapCount配置每间隔事务请求个数，生成快照，数据存储在dataDir 指定的目录中，可以通过如下方式进行查看快照数据（ 为了避免集群中所有机器在同一时间进行快照，实际的快照生成时机为事务数达到 [snapCount/2 + 随机数(随机数范围为1 ~ snapCount/2 )] 个数时开始快照）

• jute：序列化工具；SnapshotFormatter：main函数所在的目录；/data/version-2/snapshot.0：快照文件目录

  java -cp slf4j-api-1.7.25.jar:zookeeper-3.5.8.jar:zookeeper-jute-3.5.8.jar org.apache.zookeeper.server.SnapshotFormatter /data/version-2/snapshot.0

  
  快照事务日志文件名为： snapshot.<当时最大事务ID>，日志满了即进行下一次事务日志文件的

创建有了事务日志，为啥还要快照数据?

• 快照数据主要时为了快速恢复， 事务日志文件是每次事务请求都会进行追加的操作，而快照是达到某种设定条件下的内存全量数据。所以通常快照数据是反应当时内存数据的状态。事务日志是更全面的数据，所以恢复数据的时候，可以先恢复快照数据，再通过增量恢复事务日志中的数据即可。