Zookeeper集群的搭建与调试

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Zookeeper集群的搭建与调试相关的知识,希望对你有一定的参考价值。

Zookeeper的下载地址:https://github.com/apache/zookeeper/archive/master.zip

zkclient的下载地址:https://github.com/sgroschupf/zkclient


至于zookeeper的作用和原理我这里就不多赘述了,大家有兴趣可以去查查,这里主要就是动手操作。


搭建集群

首先先看一下本次zk实验服务器的名称和IP情况,这里我们选择了三台服务器作zkserver,因为三台是标配,一台的话就只有leader没有follower,不是很稳定的结构,当然啦如果你的公司土豪的话是可以玩三十台:

dvl-mrszk-00110.117.0.125
dvl-mrszk-00210.117.1.158
dvl-mrszk-00310.168.152.227

对这三台服务器要进行如下的步骤:

1)先把zookeeper.zip传到linux里,然后解压到/usr文件夹下;

2)进入 /usr/zookeeper/conf文件夹,#vim zoo.cfg,在最下面补充上面的三个zkserver,见图:

技术分享

3)再来到/usr/zookeeper/data文件夹,如果里面有文件就清空所有文件,如果是1号zkserver就# echo 1 > myid,如果当前机器是2号zkserver就# echo 2 > myid,依次类推,这里一定要注意,不可以都写一样。

4)#vim /etc/hosts,还要把这三台机器的ip地址和名字都写进去,如下:

127.0.0.1 localhost
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
10.117.0.125 dvl-mrszk-001
10.117.1.158 dvl-mrszk-002
10.168.152.227 dvl-mrszk-003

5)再来/usr/zookeeper/bin文件夹,#./zkServer.sh start启动zk,然后再./zkServer.sh status查看进程情况,如图看见第一台和第三台zkserver的身份是follower,第二台是leader:

技术分享

技术分享

技术分享

至此整个zk集群就搭建并且启动完成了。


验证成果

Zookeeper的配置工具叫Zooinspector,下载地址是:

https://issues.apache.org/jira/secure/attachment/12436620/ZooInspector.zip,下载完直接解压缩就可以在windows里使用。


我们实验的这三台服务器只有内网,但是如果要连接zooinspector,还是需要通过外网权限连接的,这里可以配一个iptables转发规则,配iptables的步骤在这里:http://chenx1242.blog.51cto.com/10430133/1875950,照葫芦画瓢即可,但是要注意,zk的端口是2181。


当然,如果不想费事的话,就直接给zkserver 配一个外网IP,直接连接。


成功连接到zooinspector,就会看到这样的内容,这里的lcconfig是手动添加的,右击鼠标,选择add node,然后直接写上lcconfig就行,这个名字是根据实际需要填写的:

技术分享


上面我们已经配置了zkserver集群而且还启动zkserver进程,现在还需要zkclient,zkclient就是请求发起的一方,然后我们可以在各个的模块服务器上部署zkclient服务,通过启动zkclient服务,来让这些模块统一从zooinspector里取值,这样就达到了批量配置,同时保证一致性的效果。


zk的模板文件是_tpl.properties为结尾的文件,我这里模块的名字叫mrs,那么在实验里这个模板文件就是mrs_tpl.properties,这个mrs_tpl.properties里有这样的一个字段,如图:

技术分享


而我们在zooinspector里对应就这么填写:

技术分享


保存zooinspector,然后从windows返回到linux,启动zkclient服务和对应的模块进程,如果配置都正常的话,那么程序就会正常启动,# ps -ef|grep java就会看到一个叫“lczk.AppServerDaemon”的进程。这个时候在去看一下mrs的配置文件:

技术分享

可以看到areaAk取得值就是zk里面data_center里面access_key里面的ak的值,其他的几个值也是同理。可见整个zk已经配置成功,模块都进行了统一配置,而且这些配置既然能被一个接受,同时也会被其他相同的模块服务器所接受。



本文出自 “生活就是等待戈多” 博客,请务必保留此出处http://chenx1242.blog.51cto.com/10430133/1889715

以上是关于Zookeeper集群的搭建与调试的主要内容,如果未能解决你的问题,请参考以下文章

Zookeeper简介与集群搭建

ZooKeeper集群搭建中的Connection refused而导致的启动失败

Zookeeper服务器集群的搭建与操作

Kafka基础——集群搭建

Zookeeper与Kafka集群搭建

kafka服务器搭建与测试