分布式框架Zookeeper保姆级教程--就怕你还看不懂-Zookeeper的安装特性结点数据类型内存数据持久化

Posted ~玄霄-

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了分布式框架Zookeeper保姆级教程--就怕你还看不懂-Zookeeper的安装特性结点数据类型内存数据持久化相关的知识,希望对你有一定的参考价值。

  • 分布式系统
    通常情况 下,单个物理节点很容易达到性能,计算或者容量的瓶颈,所以这个时候就需要多个物理节点来 共同完成某项任务,一个分布式系统的本质是分布在不同网络或计算机上的程序组件,彼此通过 信息传递来协同工作的系统,而Zookeeper正是一个分布式应用协调框架,在分布式系统架构中 有广泛的应用场景。

什么是Zookeeper?

它是一个分布式协调框架,是Apache Hadoop 的一个子项 目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同 步服务、集群管理、分布式应用配置项的管理等。

Zookeeper 核心概念

暂时可以理解为 Zookeeper 是一个用于存储少量数据的基于内存 的数据库,有两个核心的概念:文件系统数据结构+监听通知机制。

文件系统数据结构

Zookeeper维护一个类似文件系统的数据结构:

每个子目录项都被称作为 znode(目录节点),和文件系统类似,我们能够自由的增加、删除 znode,在一个znode下增加、删除子znode。
有四种类型的znode:

  • 持久化目录结点-PERSISTENT
    客户端与Zookeeper断开连接后,该节点依旧存在,只要不手动删除该节点,他将一直存在
  • PERSISTENT_SEQUENTIAL­持久化顺序编号目录节点
    -客户端与Zookeeper断开连接后,该节点依旧存在,只是给Zookeeper给该节点名称进行顺序编号
  • EPHEMERAL-临时目录节点
    客户端与Zookeeper断开连接后,该节点被删除
  • EPHEMERAL_SEQUENTIAL- 临时目录编号目录节点
    客户端与zookeeper断开连接后,该节点被删除,只是Zookeeper给该节点名称进行顺序编号
  • Container结点
    如果Container节点下面没有自己诶单,则未来会被Zookeeper自动清除、定时任务默认60秒检查一次
  • TTL节点
    ( 默认禁用,只能通过系统配置zookeeper.extendedTypesEnabled=true 开启,不稳定)

如图:

监听通知机制

客户端可以注册监听他关心的任意节点、或者目录节点以及递归子目录节点
1. 如果注册的是对某个结点的监听、则当这个结点被删除或者被修改时,对应的客户端将被通知;
2. 如果注册的是对某个目录的监听,则当这个目录有子节点被创建,或者有子节点被删除,对应客户端被通知;
3. 如果注册的是某个目录的递归子节点进行监听,则当这个目录下面任意子节点有目录结构变化(有子节点被创建,删除)或者根节点有数据变化时,对应的客户端将会被通知;

所有的通知都是一次性的,无论是对接点还是对目录监听,一旦触发,对应的监听事件会被溢出。递归子节点,监听是对所有子节点的,所以,每个子节点下面的事件同样只会被触 发一次

Zookeeper应用场景

  1. 分布式配置中心
  2. 分布式注册中心
  3. 分布式锁
  4. 集群选举
  5. 分布式队列
  6. 发布/订阅(生产消费者模型)

安装

Linux安装Zookeeper

  1. 配置JAVA环境、检查环境(没有自己去装)
java ‐version
  1. 下载解压Zookeeper
wget https://mirror.bit.edu.cn/apache/zookeeper/zookeeper‐3.5.8/apache‐zookeepe r‐3.5.8‐bin.tar.gz
tar ‐zxvf apache‐zookeeper‐3.5.8‐bin.tar.gz
cd apache‐zookeeper‐3.5.8‐bin
  1. 重命名配置文件:zoo_sample.cfg
 cp zoo_sample.cfg zoo.cfg
  1. 启动Zookeeper
bin/zkServer.sh start conf/zoo.cfg
  1. 检查是否启动成功
echo stat | nc 192.168.109.200(换成你自己的IP地址)
  1. 连接服务器
 bin/zkCli.sh ‐server ip:port

Window安装Zookeeper

  1. 官网下载压缩文件
    http://zookeeper.apache.org/releases.html
  2. 解压缩到本地
  3. 进入conf目录下、拷贝复制配置文件zoo_sample.cfg,并重命名为zoo.cfg
  4. 修改配置文件zoo.cfg,修改数据文件目录(换成本地的)
dataDir=E:/java_springboot/Java_Zookeeper/data
  1. 进入bin目录下,点击zkServer.cmd、运行Zookeeper服务端

    看到这几行,就算启动成功了。
  2. 点击运行zkCli.cmd,运行Zookeeper客户端

    看到这几行就算启动成功了。

Zookeeper功能命令

  • 输入help,获取所有的命令
[zk: localhost:2181(CONNECTED) 0] help
  addauth scheme auth
        close
        config [-c] [-w] [-s]
        connect host:port
        create [-s] [-e] [-c] [-t ttl] path [data] [acl]
        delete [-v version] path
        deleteall path
        delquota [-n|-b] path
        get [-s] [-w] path
        getAcl [-s] path
        history
        listquota path
        ls [-s] [-w] [-R] path
        ls2 path [watch]
        printwatches on|off
        quit
        reconfig [-s] [-v version] [[-file path] | [-members serverID=host:port1:port2;port3[,...]*]] | [-add serverId=host:port1:port2;port3[,...]]* [-remove serverId[,...]*]
        redo cmdno
        removewatches path [-c|-d|-a] [-l]
        rmr path
        set [-s] [-v version] path data
        setAcl [-s] [-v version] [-R] path acl
        setquota -n|-b val path
        stat [-w] path

创建Zookeeper节点命令

create [‐s] [‐e] [‐c] [‐t ttl] path [data] [acl]

中括号为可选项,没有则默认创建持久化节点
-s : 顺序节点
-e:临时结点
-c:容器节点
-t:给节点添加过期时间,默认禁用,需要通过系统参数启动
(-Dzookeeper.extendedTypesEnabled=true, znode.container.checkIntervalMs : (Java system property only) New in 3.5.1: The time interval in milliseconds for each check of candidate container and ttl nodes. Default is “60000”.)

创建结点

create /test-node somedata

没有加任何可选参数,创建的就是持久化节点

查看节点

get /test‐node


修改节点数据

set /test‐node some‐data‐changed


查看节点状态信息

 stat /test‐node

  • cZxid: 创建znode的事务ID
  • mZxid:最后修改znode的事务ID
  • pZxid:最后添加或者删除子节点的事务ID(子节点列表发生变化才发生改变)
  • ctime:创建时间
  • mtime:znode最近修改时间
  • dataVersion:znode的当前数据版本
  • cversion:znode的子节点结果版本
  • aclVersion:表示对此znode的acl版本。
  • ephemeralOwner:znode是临时znode时,表示znode所有者的 session ID。 如果 znode不是临时znode,则该字段设置为零
  • dataLength:znode数据字段的长度。
  • numChildren:znode的子znode的数量

查看结点状态信息同时查看数据

get -s /XXX


根据状态版本号并发修改数据实现乐观锁功能

test-node 当前的数据版本是 1 , 这时客户端 用 set 命令修改数据的时候可以把版本号带上

如果在执行上面 set命令前, 有人修改了数据,zookeeper 会递增版本号, 这个时候,如果再用 以前的版本号去修改,将会导致修改失败,报如下错误

开启另一个客户端修改数据、使版本发生改变;

用原来的客户端修改数据、修改失败

创建子节点
这里要注意,zookeeper是以节点组织数据的,没有相对路径这么一说,所以,所 有的节点一定是以 / 开头

create /test‐node/test‐sub‐node


查看子节点信息,比如根节点下面的所有子节点, 加一个大写 R 可以查看递归子节点列表


创建临时节点

create ‐e /ephemeral data

create 后跟一个 -e 创建临时节点 , **临时节点不能创建子节点
**

创建序号节点,加参数 -s

create /seq‐parent data // 创建父目录,单纯为了分类,非必须
create ‐s /seq‐parent/ data // 创建顺序节点。顺序节点将再seq‐parent 目录下面,顺序 递增

为了容纳子节点,先创建个父目录 /seq-parent

也可以再序号节点前面带一个前缀

上面创建时持久性序号节点、下面是临时序号节点;

创建临时顺序节点:其他crud操作和其他节点无差别。

创建容器节点

 create ‐c /container

容器节点主要用来容纳字节点,如果没有给其创建子节点,容器节点表现和持久化节点一样,如 果给容器节点创建了子节点,后续又把子节点清空,容器节点也会被zookeeper删除。

时间监听机制

针对节点的监听:一定事件触发,对应的注册立刻被移除,所以事件监听是一次性的

get ‐w /path // 注册监听的同时获取数据 
stat ‐w /path // 对节点进行监听,且获取元数据信息


针对目录的监听,如下图,目录的变化,会触发事件,且一旦触发,对应的监听也会被移除,后 续对节点的创建没有触发监听事件

ls ‐w /path


针对递归子目录的监听

ls ‐R ‐w /path : ‐R 区分大小写,一定用大写

如下对/test 节点进行递归监听,但是每个目录下的目录监听也是一次性的,如第一次在/test 目 录下创建节点时,触发监听事件,第二次则没有,同样,因为时递归的目录监听,所以 在/test/sub0下进行节点创建时,触发事件,但是再次创建/test/sub0/subsub1节点时,没有触 发事件。

Zookeeper监听事件类型

  • None :连接建立事件
  • NodeCreated:节点创建
  • NodeDeleted:节点删除
  • NodeDataChanged:节点数据发生变化
  • NodeChildrenChanged:子节点列表发生变化
  • DataWatchRemoved: 节点监听被移除
  • ChildWatchRemoved:子节点监听被移除

Zookeeper 的 ACL 权限控制

Zookeeper 的ACL 权限控制,可以控制节点的读写操作,保证数据的安全性,Zookeeper ACL 权 限设置分为 3 部分组成,分别是:权限模式(Scheme)、授权对象(ID)、权限信息 (Permission)。最终组成一条例如“scheme: id :permission”格式的 ACL 请求信息。

Scheme(权限模式)

用来设置 ZooKeeper 服务器进行权限验证的方式。分为两种类型:

  • 范围验证
    说ZooKeeper 可以针对一个 IP 或者一段 IP 地址授予某 种权限。比如我们可以让一个 IP 地址为“ip:192.168.0.110”的机器对服务器上的某个数据节 点具有写入的权限。或者也可以通过“ip:192.168.0.1/24”给一段 IP 地址的机器赋权。
  • 口令验证
    以理解为用户名密码的方式。在 ZooKeeper 中这种验证方 式是 Digest 认证,而 Digest 这种认证方式首先在客户端传送“username:password”这种形 式的权限表示符后,ZooKeeper 服务端会对密码 部分使用 SHA-1 和 BASE64 算法进行加密, 以保证安全性。
    还有一种Super权限模式, Super可以认为是一种特殊的 Digest 认证。具有 Super 权限的客户端 可以对 ZooKeeper 上的任意数据节点进行任意操作。

授权对象(ID)

授权对象就是说我们要把权限赋予谁,而对应于 4 种不同的权限模式来说,如果我们选择采用 IP 方式,使用的授权对象可以是一个 IP 地址或 IP 地址段;而如果使用 Digest 或 Super 方式,则 对应于一个用户名。如果是 World 模式,是授权系统中所有的用户。

权限信息(Permission)

权限就是指我们可以在数据节点上执行的操作种类;权限有 5 种:

  • 数据节点(c: create)创建权限,授予权限的对象可以在数据节点下创建子节点;
  • 数据节点(w: wirte)更新权限,授予权限的对象可以更新该数据节点;
  • 数据节点(r: read)读取权限,授予权限的对象可以读取该节点的内容以及子节点的列表信息;
  • 数据节点(d: delete)删除权限,授予权限的对象可以删除该数据节点的子节点
  • 数据节点(a: admin)管理者权限,授予权限的对象可以对该数据节点体进行 ACL 权限设置。

相关命令

  • getAcl:获取某个节点的acl权限信息
  • setAcl:设置某个节点的acl权限信息
  • addauth: 输入认证授权信息,相当于注册用户信息,注册时输入明文密码,zk将以密文的形式存储

可以通过系统参数zookeeper.skipACL=yes进行配置,默认是no,可以配置为true, 则配置过的 ACL将不再进行权限检测

  • 生成授权ID的两种方式
    a. 代码生成ID:
    b.在xshell中生成
@Test 
public void generateSuperDigest() throws NoSuchAlgorithmException { 
	String sId = DigestAuthenticationProvider.generateDigest("gj:test"); 
	System.out.println(sId);// gj:X/NSthOB0fD/OT6iilJ55WJVado= }
 echo ‐n <user>:<password> | openssl dgst ‐binary ‐sha1 | openssl base64
  • 设置ACL有两种方式
    a. 节点创建的同时设置ACL
    create [-s] [-e] [-c] path [data] [acl]
    b. setAcl设置
create /zk‐node datatest digest:gj:X/NSthOB0fD/OT6iilJ55WJVado=:cdrwa
setAcl /zk‐node digest:gj:X/NSthOB0fD/OT6iilJ55WJVado=:cdrwa

添加授权信息后,不能直接访问,直接访问将报如下异常

get /zk‐node 
异常信息:
org.apache.zookeeper.KeeperException$NoAuthException: KeeperErrorCode = NoAuth for /zk‐node

访问前需要添加授权信息

addauth digest gj:test
get /zk‐node 
datatest

另一种授权模式: auth 明文授权
使用之前需要先 addauth digest username:password
注册用户信息,后续可以直接用明文授权 如:

addauth digest u100:p100 
create /node‐1 node1data auth:u100:p100:cdwra
get /node‐1
node1data

IP授权模式

setAcl /node‐ip ip:192.168.109.128:cdwra 
create /node‐ip data ip:192.168.109.128:cdwra

多个指定IP可以通过逗号分隔, 如 setAcl /node-ip ip:IP1:rw,ip:IP2:a

Super 超级管理员模式
这是一种特殊的Digest模式, 在Super模式下超级管理员用户可以对Zookeeper上的节点进行任 何的操作。 需要在启动了上通过JVM 系统参数开启:

DigestAuthenticationProvider中定义 
‐Dzookeeper.DigestAuthenticationProvider.superDigest=super: <base64encoded(SHA1(password))

ZooKeeper 内存数据和持久化

Zookeeper数据的组织形式为一个类似文件系统的数据结构,而这些数据都是存储在内存中的, 所以我们可以认为,Zookeeper是一个基于内存的小型数据库

内存中的数据

public class DataTree{
//存储我们的节点信息;一开始只有一个Zookeeper节点。
private final ConcurrentHashMap<String,DataNode> nodes=new ConcurrentHashMap<String,DataNode>();

private final WatchManager dataWatches = new WatchManager();
private final WatchManager childWatches = new WatchManager();
}

DataNode

public class DataNode implements Record{
byte data[]; //用来存储我们的数据
Long acl;
public StatPersisted stat;
private Set<String> children=null;
}

事务日志

  • 针对每一次客户端的事务操作,Zookeeper都会将他们记录到事务日志中,当然,Zookeeper也 会将数据变更应用到内存数据库中
  • 我们可以在zookeeper的主配置文件zoo.cfg 中配置内存中 的数据持久化目录,也就是事务日志的存储路径 dataLogDir. 如果没有配置dataLogDir(非必 填), 事务日志将存储到dataDir (必填项)目录,
  • zookeeper提供了格式化工具可以进行数据查看事务日志数据
  • org.apache.zookeeper.server.LogFormatter
java ‐classpath .:slf4j‐api‐1.7.25.jar:zookeeper‐3.5.8.jar:zookeeper‐jute‐ 3.5.8.jar org.apache.zookeeper.server.LogFormatter /usr/local/zookeeper/apache‐zo okeeper‐3.5.8‐bin/data/version‐2/log.1
  • 如下是我本地的日志文件格式化效果

    从左到右分别记录了操作时间,客户端会话ID,CXID,ZXID,操作类型,节点路径,节点数据(用 #+ascii 码表示),节点版本。

  • Zookeeper进行事务日志文件操作的时候会频繁进行磁盘IO操作,事务日志的不断追加写操作会 触发底层磁盘IO为文件开辟新的磁盘块,即磁盘Seek。

  • 因此,为了提升磁盘IO的效率, Zookeeper在创建事务日志文件的时候就进行文件空间的预分配- 即在创建文件的时候,就向操 作系统申请一块大一点的磁盘块。

  • 这个预分配的磁盘大小可以通过系统参数zookeeper.preAllocSize 进行配置。

  • 事务日志文件名为: log.<当时最大事务ID>,应为日志文件时顺序写入的,所以这个最大事务 ID也将是整个事务日志文件中,最小的事务ID,日志满了即进行下一次事务日志文件的创建

数据快照

  • 用于记录Zookeeper服务器上某一刻的全量数据,并将其写入到指定的磁盘文件中。可以通过snapCount配置每间隔事务请求个数,生成快照,数据存储在dataDir指定的目录中。
  • 为了避免集群中所有机器在同一时间进行快照,实际的快 照生成时机为事务数达到 [snapCount/2 + 随机数(随机数范围为1 ~ snapCount/2 )] 个数时始快照。
java ‐classpath .:slf4j‐api‐1.7.25.jar:zookeeper‐3.5.8.jar:zookeeper‐jute‐ 3.5.8.jar org.apache.zookeeper.server.SnapshotFormatter /usr/local/zookeeper/apac he‐zookeeper‐3.5.8‐bin/data‐dir/version‐2/snapshot.0

  • 快照事务日志文件名为: snapshot.<当时最大事务ID>,日志满了即进行下一次事务日志文件的 创建

数据快照与事务日志关系

  • 快照数据主要时为了快速恢复, 事务日志文件是每次事务请求都会进行追加的操作,而快照是达 到某种设定条件下的内存全量数据。
  • 所以通常快照数据是反应当时内存数据的状态事务日志是 更全面的数据,所以恢复数据的时候,可以先恢复快照数据,再通过增量恢复事务日志中的数据 即可
  • 类似Redis RDB与AOF;

以上是关于分布式框架Zookeeper保姆级教程--就怕你还看不懂-Zookeeper的安装特性结点数据类型内存数据持久化的主要内容,如果未能解决你的问题,请参考以下文章

Nginx保姆级教程-就怕你不懂--反向代理

zookeeper启动报错(保姆级解决教程)快来看看是不是和你的错一样~

Zookeeper在正常配置下启动成功,但是在查看状态时仍然会报错的解决方法(超级详细保姆级讲解)

Redis安装教程(保姆级教程)

Hadoop 3.1.3 分布式集群搭建,超详细,保姆级教程

代码阅读,就怕你知道却不会用