ZooKeeper 学习之 安装 部署

Posted 2020-10-13 kcen

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，ZooKeeper是以Fast Paxos算法为基础，实现同步服务，配置维护和命名服务等分布式应用。

Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。核心词就是一个，协调。

下面实践安装来学习下，分为独立部署、集群部署

一、下载安装

wget -c http://www.eu.apache.org/dist/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz

 tar zxvf zookeeper-3.4.6.tar.gz

 可以指定放在哪个目录，如usr/local

 mkdir  /usr/local/zookeeper-3.4.6

二、独立部署配置

 1、编辑zookeeper-3.4.6/conf 下的zoo_sample.cfg文件, 这个文件里面配置了监听客户端连接的端口等一些信息,Zookeeper 在启动时会找zoo.cfg这个文件作为默认配置文件。

     在zookeeper-3.4.6/conf目录下复制一个名称为zoo.cfg的文件：

      cp zoo_sample.cfg zoo.cfg

2、在zookeeper-3.4.6/bin目录启动Zookeeper服务：

    ./zkServer.sh start

 

三、ZooKeeper集群部署配置

  1、ZooKeeper的集群模式下，多个Zookeeper服务器在工作前会选举出一个Leader，在接下来的工作中这个被选举出来的Leader死了，而剩下的Zookeeper服务器会知道这个Leader死掉了，  在活着的Zookeeper集群中会继续选出一个Leader，选举出Leader的目的是为了可以在分布式的环境中保证数据的一致性。 由于ZooKeeper集群中，会有一个Leader负责管理和协调其他集群服务器，因此服务器的数量通常都是单数，例如3，5，7...等，这样2n+1的数量的服务器就可以允许最多n台服务器的失效。

2、编写配置文件

配置文件需要在每台服务器中都要编写，以下是一个配置文件的样本：

# Filename zoo.cfg

tickTime=2000

dataDir=/var/zookeeper/

clientPort=2181

initLimit=5

syncLimit=2

server.1=10.10.0.101:2888:3888

server.2=10.10.0.102:2888:3888

server.3=10.10.0.103:2888:3888

参数说明

tickTime：这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳

dataDir：顾名思义就是 Zookeeper 保存数据的目录，默认情况下，Zookeeper 将写数据的日志文件也保存在这个目录里

clientPort：这个端口就是客户端连接 Zookeeper 服务器的端口，Zookeeper 会监听这个端口，接受客户端的访问请求。

initLimit：配置 Zookeeper 接受客户端（指的是 Zookeeper 服务器集群中连接到 Leader 的 Follower 服务器）初始化连接时最长能忍受多少个心跳时间间隔数。集群包含多台server, 其中一台为leader, 集群中其余的server为follower，follower和leader之间的最长心跳时间，如该参数设置为5,当已经超过 5 个心跳时间（即 tickTime），总时间长度是 5*2000=10 秒后 Zookeeper 服务器没有收到客户端的返回信息，那么表明这个客户端连接失败。

syncLimit：这个配置项标识 Leader 与 Follower 之间发送消息，请求和应答时间长度，最长不能超过多少个 tickTime 的时间长度，总的时间长度就是 2*2000=4 秒 

server.A=B：C：D：其中 A 是一个数字，表示这个是第几号服务器；B 是这个服务器的 ip 地址；C 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口；D 表示的是万一集群中的 Leader 服务器挂了，需要一个端口来重新进行选举，选出一个新的 Leader，而这个端口就是用来执行选举时服务器相互通信的端口。如果是伪集群的配置方式，由于 B 都是一样，所以不同的 Zookeeper 实例通信端口号不能一样，所以要给它们分配不同的端口号

3、创建myid文件

   除了修改 zoo.cfg 配置文件，集群模式下还要配置一个文件 myid，这个文件在dataDir 目录下，这个文件里面就只有一个数据就是A (服务器对应的编号) 的值，Zookeeper 启动时会读取这个文件，拿到里面的数据与 zoo.cfg 里面的配置信息比较从而判断到底是那个 server。

4、执行运行脚本

    和单机模式下的运行方式基本相同，需要注意的地方就是要分别在不同服务器上执行一次，例如分别在101，102，103上运行：

    ./zkServer.sh start

 这样才能使得整个集群启动起来。

四、伪集群方式配置部署

  因条件限制，这里以伪集群方式部署运行

1、确认集群伪服务器的数量

    2n+1，和之前的集群部署方式相同，比如我们这里用3台

2、编写配置文件

   在/conf文件夹新建三个配置文件，zoo1.cfg，zoo2.cfg以及zoo3.cfg

  或  将zookeeper-3.4.6 对应目录复制三份

  如zookeeper-3.4.6-node1

      zookeeper-3.4.6-node2

     zookeeper-3.4.6-node3

     分别配置conf下zoo.cfg文件

 

zookeeper-3.4.6-node1

tickTime=2000

initLimit=10

syncLimit=5

dataDir=/usr/local/zookeeper-3.4.6-node1

clientPort=2181

server.1=localhost:2887:3887

server.2=localhost:2888:3888

server.3=localhost:2889:3889

 

zookeeper-3.4.6-node2

tickTime=2000

initLimit=10

syncLimit=5

dataDir=/usr/local/zookeeper-3.4.6-node2

clientPort=2182

server.1=localhost:2887:3887

server.2=localhost:2888:3888

server.3=localhost:2889:3889

 

zookeeper-3.4.6-node3

tickTime=2000

initLimit=10

syncLimit=5

dataDir=/usr/local/zookeeper-3.4.6-node3

clientPort=2183

server.1=localhost:2887:3887

server.2=localhost:2888:3888

server.3=localhost:2889:3889

由于三个服务都在同一台电脑上，因此这里要保证地址的唯一性，因此要特别注意IP地址和端口号不要互相冲突，IP相同，端口一定不能相同，以免影响程序的正确执行。

3.在每个zookeeper-3.4.6-node分别创建myid文件

内容为1,2,3 对应server序号,如：1，2，3

4、

启动zookeeper 服务

若分别三个目录，则在各自目录下执行，./zkServer.sh start

若是在同一个目录下创建3 个不同配置文件，则用下面方法

./zkServer.sh start zoo1.cfg

./zkServer.sh start zoo2.cfg

./zkServer.sh start zoo3.cfg

5、分别启动

若配置正常，启动后结果如下

若没配置好则会出现这个异常

JMX enabled by default Using config: /var/local/server/zookeeper/bin/../conf/zoo.cfg Error contacting service. It is probably not running.