ZooKeeper安装部署

Posted 2020-09-29 zhchoutai

1 概述

??ZooKeeper（动物园管理员），顾名思义。是用来管理Hadoop（大象）、Hive（蜜蜂）、Pig（小猪）的管理员。同一时候Apache HBase、Apache Solr、LinkedIn Sensei等众多项目中都採用了ZooKeeper。

??ZooKeeper是Hadoop的正式子项目。与Hadoop密切相关但却没有不论什么依赖。

它是一个针对大型应用提供高可用的数据管理、应用程序协调服务的分布式服务框架。基于对Paxos算法的实现。使该框架保证了分布式环境中数据的强一致性，提供的功能包含：配置维护、统一命名服务、状态同步服务、集群管理等。

??在分布式应用中，因为project师不能非常好地使用锁机制，以及基于消息的协调机制不适合在某些应用中使用，因此须要有一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态。Zookeeper的目的就在于此。

??依据ZooKeeper官方文档和ZooKeeper的作用，ZooKeeper一般有两种部署方式：

• 单机模式：执行一个Zookeeper实例
• 分布式模式：在多台机器上分别执行Zookeeper实例用于组成ZooKeeper集群提供服务
• 伪分布式模式：在一台物理机上执行多个Zookeeper实例

2 准备工作

1. JDK。版本号大于1.6；
2. 从官网下载最新的稳定版；
3. ZooKeeper支持在Windows平台上执行，可是仅仅支持使用Windows作为开发平台，不能作为生产平台；
4. 在生产环境，推荐ZooKeeper服务是最少为3个的集群，且最好执行在独立的物理机上。

??另外，须要注意的是，ZooKeeper集群是以宕机个数过半才会让整个集群宕机的。所以最好部署奇数个节点。ZooKeeper的单机模式是没有备份的，假设ZooKeeper宕了，服务也就停了，所以，在开发模式中能够使用单机模式，可是生成环境最好使用ZooKeeper集群的分布式模式。

3 单机模式

??以单机模式执行ZooKeeper服务是最简单的。由于ZooKeeper服务包括在一个JAR文件里，所以安装过程仅仅要改动一个配置文件即可了。

??将下载好的稳定版解压到某个文件夹，环境变量设置ZOOKEEPER_HOME指向该文件夹。然后须要改动基本配置，ZooKeeper的配置文件在conf文件夹下，这个文件夹下有zoo_sample.cfg和log4j.properties。先将zoo_sample.cfg改名为zoo.cfg（ZooKeeper在启动时会找这个文件作为默认配置文件），在单机模式中，能够改动为以下的内容：

tickTime=2000
dataDir=/home/lxh/hadoop/data/zookeeper
clientPort=2181

• tickTime：这个时间是作为 Zookeeper server之间或client与server之间维持心跳的时间间隔，也就是每一个 tickTime 时间就会发送一个心跳。
• dataDir：顾名思义就是 Zookeeper 保存数据的文件夹，默认情况下，Zookeeper 将写数据的日志文件也保存在这个文件夹里。
• clientPort：这个port就是client连接 Zookeeper server的port。Zookeeper 会监听这个port。接受client的訪问请求，通常为2181。

如今使用bin/zkServer.sh脚本启动ZooKeeper：

$ $ZOOKEEPER_HOME/bin/zkServer.sh start

假设显示以下内容，说明启动成功：

JMX enabled by default
Using config: /home/lxh/hadoop/zookeeper-3.4.6/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

也能够通过jps命令查看：

6056 Jps
6009 QuorumPeerMain

QuorumPeerMain就是ZooKeeper的进程名。

??ZooKeeper的日志信息输出使用了log4j，默认是控制台打印，能够改动$ZOOKEEPER_HOME/conf/log4j.properties来控制输出内容和位置。

4 分布式模式

??Zookeeper不仅能够单机提供服务，同一时候也支持多机组成集群来提供服务。

??在单机模式中执行ZooKeeper，对于測试、开发比較方便。

可是在生产环境中，为了获得可靠的ZooKeeper服务，应该在一个集群上部署 ZooKeeper。

由于ZooKeeper集群宕机个数过半才会让整个集群宕机。所以，仅仅要集群中半数以上的ZooKeeper服务启动了，那么总的 ZooKeeper服务将是可用的。从而也判断出。假设有5台机器。能够保证2台机器故障而不影响整个集群，ZooKeeper能继续正常执行。(这里又提到关于集群中机器的数量。是由于我一般喜欢双数，在做架构设计时，极易选择双数作为机器数。)

??ZooKeeper的分布式模式的安装配置差点儿跟单机模式一样，仅仅是须要添加几个配置。以下是样例：

tickTime=2000
dataDir=/home/lxh/hadoop/data/zookeeper
clientPort=2181
initLimit=5
syncLimit=2
server.1=zoo1:2888:3888
server.2=zoo2:2888:3888
server.3=zoo3:2888:3888

• initLimit：用来配置Zookeeper接受client（此处指是Zookeeperserver集群中连接到Leader的Followerserver）初始化连接时最长能忍受多少个心跳时间间隔数。超过这个时间。将被觉得是连接失败。上面设置的总的时间长度是5*2000毫秒。

• syncLimit：限定leader与follower之间发送消息。请求和应答时间长度，最长不能超过多少个tickTime的时间长度，上面设置的总时间长度是2*2000毫秒。
• server.A=B：C：D：当中 A 是一个数字，表示这个是第几号server；B 是这个server的 ip 地址。C 表示的是这个server与集群中的 Leader server交换信息的port。D 表示的是万一集群中的 Leader server挂了。须要一个port来又一次进行选举，选出一个新的 Leader。而这个port就是用来运行选举时server相互通信的port。

  假设是伪集群的配置方式，因为 B 都是一样，所以不同的 Zookeeper 实例通信port号不能一样，所以要给它们分配不同的port号。

??另外。在集群模式下，除了改动zoo.cfg配置文件。还要配置一个文件myid，这个文件在dataDir文件夹下。这个文件中面就有一个数据就是A的值，Zookeeper启动时会读取这个文件，拿到里面的数据与zoo.cfg里面的配置信息比較从而推断究竟是哪个server。