zookeeper和hbase集群搭建

Posted c4ri5j

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了zookeeper和hbase集群搭建相关的知识,希望对你有一定的参考价值。

zookeeper与hbase分布式搭建

zookeeper集群

1.zookeeper,故名思意,就是动物园管理员的意思,Hadoop生态里面的东西基本上都是一些小动物的昵称,所以,就这么来了

这里接前篇的Hadoop分布式搭建,所有平台都搭建在/root/app目录下

(千万别学我用根用户弄,我是为了懒得敲sudo)

我们将下载的zookeeper安装包上传至虚拟机中,然后解压

tar -zxvf zookeeper-3.4.10.tar.gz

解压好了之后,我们建立两个文件夹,一个是zkdata,一个是zkdatalog

mkdir zkdata  # 数据
mkdir zkdatalog  # 日志

技术图片

2.我们cd进conf文件夹下,配置zoo.cfg文件,然这个文件夹里只有个叫zoo_sample.cfg(~废话,重命名啊~)

修改如下图所示:技术图片

其实也就是这些参数,有几个不用改。

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/root/app/zookeeper-3.4.10/zkdata
clientPort=2181
dataLogDir=/root/app/zookeeper-3.4.10/zkdatalog
server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888

3.将zookeeper远程分发到slave1和slave2上

scp -r /root/app/zookeeper root@slave1:/root/app/
scp -r /root/app/zookeeper root@slave2:/root/app/

然后我们在每台虚拟机中,进入zookeeper中我们刚才建立的zkdata文件夹里面,vi一个新文件myid

对应前面zoo.cfg中的server,master是1,slave1是2,slave2是3

4.配置环境变量

vi /etc/profile

export ZOOKEEPER_HOME=/root/app/zookeeper-3.4.10
PATH=$PATH:$ZOOKEEPER_HOME/bin

注意每台虚拟机都要弄哦,然后别忘了source一下

5.启动zookeeper集群

进入(每台虚拟机都要执行)zookeeper文件夹下,执行bin/zkServer.sh start开启服务
技术图片

其中一个为leader,其他都是follower

技术图片

bin/zkServer.sh status是查看状态,bin/zkServer.sh stop是停止

Hbase搭建

hbase要在zookeeper的基础上哦,还得你有hadoop,然后还得选好对应Hadoop的版本的hbase

1.解压并配置hbase-env.sh文件

tar -zxvf hbase-1.2.4-bin.tar.gz
进入 hbase的conf目录
vi hbase-env.sh
加入
export HBASE_MANAGES_ZK=false
export JAVA_HOME=/root/app/jdk
export HBASE_CLASSPATH=/root/app/hadoop/etc/hadoop

2.配置hbase-site.xml

<property>
<name>hbase.rootdir</name>
<value>hdfs://master:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.master</name>
<value>hdfs://master:6000</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>master,slave1,slave2</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/usr/zookeeper/zookeeper-3.4.10</value>
</property>

3.配置regionservers

vi regionservers
加入
slave1
slave2

4.将Hadoop的hdfs-site和core-site拷贝至此

cp /root/app/hadoop/etc/hdfs-site.xml /root/app/hbase/conf
cp /root/app/hadoop/etc/core-site.xml /root/app/hbase/conf

5.分发hbase到子节点并配置环境变量,三台都要哦,source也别忘了

scp -r /root/app/hbase root@slave1:/root/app/
scp -r /root/app/hbase root@slave2:/root/app/
export HBASE_HOME=/usr/hbase/hbase-1.2.4
export PATH=$PATH:$HBASE_HOME/bin

6.启动hbase(保证zookeeper和Hadoop已经启动)

在hbase文件夹下 bin/start-hbase.sh

技术图片

可以看到,master这里jps一下,有HMaster,运行成功,QuorumPeerMain是zookeeper的

以上是关于zookeeper和hbase集群搭建的主要内容,如果未能解决你的问题,请参考以下文章

HBase集群搭建

Hadoop集群 Hbase搭建

hbase集群搭建

Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6搭建分布式集群环境

大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 图文详解

学习搭建Hadoop+HBase+ZooKeeper分布式集群环境