ZooKeeper 3.4.5 分布式环境搭建详解

Posted 2022-12-12 Q-WHai

概述

上一篇中，我们说到了关于 Hadoop-2.2.0 集群的搭建。在这个系列中，Zookeeper 是必不可少的。本文会介绍 Zookeeper-3.4.5 的安装，后面会介绍 HBase-0.96 的安装。希望于你有益。

---

版权说明

著作权归作者所有。
商业转载请联系作者获得授权，非商业转载请注明出处。
本文作者：Q-WHai
发表日期： 2016年5月18日
本文链接：http://blog.csdn.net/lemon_tree12138/article/details/51445689
来源：CSDN
更多内容：分类 >> 大数据之 Hadoop

---

环境说明

1. CentOS release 6.5 (Final) ( master )
2. CentOS release 6.5 (Final) ( slave1 )
3. CentOS release 6.5 (Final) ( slave2 )
4. JDK-1.8.0_92 ( Oracle )
5. Hadoop-2.2.0
6. 虚拟机环境： VMware® Workstation 12 Pro

序号	虚拟机 IP	hostname
1	172.16.2.117	master
2	172.16.2.115	slave1
3	172.16.2.116	slave2

---

Zookeeper 环境搭建

下载

http://zookeeper.apache.org/releases.html
进入 Apache 的官网下载一个合适的 Zookeeper 版本进行安装。

$ tar -zxvf zookeeper-3.4.5.tar.gz
$ mv zookeeper-3.4.5 ~/zookeeper

配置环境变量

$ sudo vim /etc/profile

在文件的末尾处，添加如下信息

export ZOOKEEPER_HOME=/home/hadoop/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin

设置上面的配置立即生效

$ source /etc/profile

配置 zoo.cfg

配置 zoo.cfg 的路径是 $ZOOKEEPER_HOME/conf/zoo.cfg，不过一般情况下，这个文件是不存在的，需要从 zoo_sample.cfg 复制获得

$ cp zoo_smaple.cfg zoo.cfg
$ vim zoo.cfg

配置文件中的内容如下

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/home/hadoop/data/zookeeper
clientPort=2181

server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888

配置防火墙

这里选择关闭防火墙

$ sudo service iptables stop
$ sudo chkconfig iptables off  # 设置防火墙不随系统启动，这一条你可以选择性添加

配置 myid

[hadoop@master ~]$ echo 1 > /home/hadoop/data/zookeeper/myid
[hadoop@slave1 ~]$ echo 2 > /home/hadoop/data/zookeeper/myid
[hadoop@slave2 ~]$ echo 3 > /home/hadoop/data/zookeeper/myid

注意这里 myid 的路径要与上面 zoo.cfg 中 dataDir 的路径一致。否则你的 Zookeeper 将无法启动。
另外上面的三条指令实际上是在三台虚拟机上完成的，这里需要注意，别傻乎乎地在同一台虚拟机上搞得起劲。

配置下发

$ scp -r zookeeper/ slave1:~/
$ scp -r zookeeper/ slave2:~/

这里与 Hadoop 中的下发一样，将整个文件夹下发到你想要安放的目录。只是，这里需要在 scp 后面加上一个 -r，不然你就需要将 zookeeper 文件先压缩，再下发，再在各个子节点下再解压。麻烦死了~，还不如一个 -r 把控全局来得爽。

节点配置修改

这里主要有两个地方需要修改

1. myid
2. dataDir
   myid 不用再说了，上面已经讲过了。这里的 dataDir 路径，你必须保证它存在，所以你要去创建它。

启动测试

$ zkServer.sh start

JMX enabled by default
Using config: /home/hadoop/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

需要注意的是，要在每一台机器上都启动 zookeeper 才可以。

启动验证

$ jps

[hadoop@master ~]$ jps
6888 QuorumPeerMain
7353 Jps

如果这里存在 QuorumPeerMain 进程的话，就说明 Zookeeper 启动成功了。

功能验证

上面的启动验证只是说明了你的 Zookeeper 已经启动了，并不能说明，你的 Zookeeper 启动成功了。我们需要使用下面的指令查看 Zookeeper 是否启动成功。

$ zkServer.sh status

[hadoop@master ~]$ zkServer.sh status
JMX enabled by default
Using config: /home/hadoop/zookeeper/bin/../conf/zoo.cfg
Error contacting service. It is probably not running.

果然，这里的输出信息足以说明我们的 zookeeper 没有启动成功。百度了一通，完全无用！还有的一些完全是在胡说八道。

解决方案

在网上搜了很多的解决方案都不可行。也看了 zookeeper.out 信息，都没有什么发现。于是尝试着修改了 dataDir 的路径到 Zookeeper 的安装目录下（这是网上的教程中都用的目录），并重启计算机，问题解决。当然，我不能保证你按照我的步骤一定可以解决问题。只是把我解决此问题的过程分享给你而已，如果你未能解决它，可能你是另外的情况，但我希望你也可以不吝啬地把你的解决方案分享给大家。

验证结果
master

[hadoop@master zookeeper]$ zkServer.sh status
JMX enabled by default
Using config: /home/hadoop/zookeeper/bin/../conf/zoo.cfg
Mode: leader

slave1

[hadoop@slave1 conf]$ zkServer.sh status
JMX enabled by default
Using config: /home/hadoop/zookeeper/bin/../conf/zoo.cfg
Mode: follower

slave2

[hadoop@slave2 conf]$ zkServer.sh status
JMX enabled by default
Using config: /home/hadoop/zookeeper/bin/../conf/zoo.cfg
Mode: follower

测试 zkClient

zkCli.sh -server master:2181

Connecting to master:2181
2016-05-18 09:48:28,985 [myid:] - INFO  [main:Environment@100] - Client environment:zookeeper.version=3.4.5-1392090, built on 09/30/2012 17:52 GMT
2016-05-18 09:48:28,990 [myid:] - INFO  [main:Environment@100] - Client environment:host.name=master
2016-05-18 09:48:28,990 [myid:] - INFO  [main:Environment@100] - Client environment:java.version=1.8.0_92
( ... 此处省略 N 条 ... )
Welcome to ZooKeeper!
2016-05-18 09:48:29,095 [myid:] - INFO  [main-SendThread(master:2181):ClientCnxn$SendThread@966] - Opening socket connection to server master/172.16.2.117:2181. Will not attempt to authenticate using SASL (unknown error)
JLine support is enabled
2016-05-18 09:48:29,309 [myid:] - INFO  [main-SendThread(master:2181):ClientCnxn$SendThread@849] - Socket connection established to master/172.16.2.117:2181, initiating session
2016-05-18 09:48:29,420 [myid:] - INFO  [main-SendThread(master:2181):ClientCnxn$SendThread@1207] - Session establishment complete on server master/172.16.2.117:2181, sessionid = 0x154c4bf7e640000, negotiated timeout = 30000

WATCHER::

WatchedEvent state:SyncConnected type:None path:null
[zk: master:2181(CONNECTED) 0]

至此，我们的 Zookeeper 终于搭建完成了。以下是搭建完成之后在 Zookeeper 里面的玩耍：

[zk: master:2181(CONNECTED) 0] ls /
[zookeeper]
[zk: master:2181(CONNECTED) 1] create /newfile hello
Created /newfile
[zk: master:2181(CONNECTED) 2] ls /
[zookeeper, newfile]
[zk: master:2181(CONNECTED) 3] get /newfile
hello
cZxid = 0x200000002
ctime = Wed May 18 09:50:50 PDT 2016
mZxid = 0x200000002
mtime = Wed May 18 09:50:50 PDT 2016
pZxid = 0x200000002
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 5
numChildren = 0
[zk: master:2181(CONNECTED) 4] set /newfile gootday

WATCHER::

WatchedEvent state:SyncConnected type:NodeDataChanged path:/newfile
cZxid = 0x200000002
ctime = Wed May 18 09:50:50 PDT 2016
mZxid = 0x200000003
mtime = Wed May 18 09:53:55 PDT 2016
pZxid = 0x200000002
cversion = 0
dataVersion = 1
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 7
numChildren = 0
[zk: master:2181(CONNECTED) 7] get /newfile
gootday
cZxid = 0x200000002
ctime = Wed May 18 09:50:50 PDT 2016
mZxid = 0x200000003
mtime = Wed May 18 09:53:55 PDT 2016
pZxid = 0x200000002
cversion = 0
dataVersion = 1
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 7
numChildren = 0
[zk: master:2181(CONNECTED) 8] delete /newfile
[zk: master:2181(CONNECTED) 9] ls /
[zookeeper]
[zk: master:2181(CONNECTED) 10] quit
Quitting...
2016-05-18 09:56:03,079 [myid:] - INFO  [main:ZooKeeper@684] - Session: 0x154c4bf7e640000 closed
2016-05-18 09:56:03,080 [myid:] - INFO  [main-EventThread:ClientCnxn$EventThread@509] - EventThread shut down

---

Ref

• http://www.iteblog.com/archives/904

---

征集

如果你也需要使用ProcessOn这款在线绘图工具，可以使用如下邀请链接进行注册：
https://www.processon.com/i/56205c2ee4b0f6ed10838a6d