电商数仓zookeeper

Posted 今夜月色很美

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了电商数仓zookeeper相关的知识,希望对你有一定的参考价值。

1、安装zookeeper

1.1、解压安装

解压zookeeper安装包到/opt/module/目录下

tar -zxvf zookeeper-3.5.7.tar.gz -C /opt/module/

修改/opt/module/apache-zookeeper-3.5.7-bin名称为zookeeper-3.5.7

mv apache-zookeeper-3.5.7-bin/ zookeeper-3.5.7

1.2、配置服务器编号

在/opt/module/zookeeper-3.5.7/这个目录下创建zkData

mkdir zkData

在/opt/module/zookeeper-3.5.7/zkData目录下创建一个myid的文件

vim myid

在文件中添加与server对应的编号。

同步/opt/module/zookeeper-3.5.7目录内容到h103、h104

xsync zookeeper-3.5.7/

同步完成后,分别在h103、h104上修改myid文件中内容为3、4

1.3、配置zoo.cfg文件

重命名/opt/module/zookeeper-3.5.7/conf这个目录下的zoo_sample.cfg为zoo.cfg

mv zoo_sample.cfg zoo.cfg

打开zoo.cfg文件

vim zoo.cfg

修改数据存储路径配置

dataDir=/opt/module/zookeeper-3.5.7/zkData

增加如下配置

#######################cluster##########################
server.2=h102:2888:3888
server.3=h103:2888:3888
server.4=h104:2888:3888

同步zoo.cfg配置文件

xsync zoo.cfg

配置参数解读

server.A=B:C:D

A是一个数字,表示这个是第几号服务器;

集群模式下配置一个文件myid,这个文件在dataDir目录下,这个文件里面有一个数据就是A的值,Zookeeper启动时读取此文件,拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server。

B是这个服务器的地址;

C是这个服务器Follower与集群中的Leader服务器交换信息的端口;

D是万一集群中的Leader服务器挂了,需要一个端口来重新进行选举,选出一个新的Leader,而这个端口就是用来执行选举时服务器相互通信的端口。

1.4、集群操作

在三台服务器上分别启动zookeeper

bin/zkServer.sh start

查看状态

bin/zkServer.sh status

2、集群启动停止脚本

在h102的/home/atguigu/bin目录下创建脚本

vim zk.sh

在脚本中编写如下内容

#!/bin/bash

case $1 in
"start")
	for i in h102 h103 h104
	do
        echo ---------- zookeeper $i 启动 ------------
		ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh start"
	done
;;
"stop")
	for i in h102 h103 h104
	do
        echo ---------- zookeeper $i 停止 ------------    
		ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh stop"
	done
;;
"status")
	for i in h102 h103 h104
	do
        echo ---------- zookeeper $i 状态 ------------    
		ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh status"
	done
;;
esac

增加脚本执行权限

chmod +x zk.sh

以上是关于电商数仓zookeeper的主要内容,如果未能解决你的问题,请参考以下文章

电商数仓hbase

电商数仓数仓理论

电商数仓数仓环境搭建

电商数仓2.0----4.7总结

电商数仓kylin

电商数仓kafka