大数据开发|HBASE分布式数据库环境构建

Posted 2021-04-19 读数会

提前说明一下，大数据的搭建环境都是在Linux系统下构建，可能针对一些没有Linux编程基础的同学来说会有一些吃力，请各位客官放心，小店伙计后期会专门有几期来讲解Linux编程基础。绝对保证零基础完成大数据环境的构建。今天主要是构建HBASE分布式数据库。

一

服务器时间同步

编写的一个脚本，来同步时间

#!/bin/bash

###设置参数

hostname_file="/home/hadoop/cdh_installpag/shell/time_tongbu.cfg"

###获取本地时间

localdate=`date +%Y%m%d' '%T`

cat $hostname_file |while read hostname

do

ssh ${hostname}  date -s "'$localdate'" < /dev/null

if [ $? -ne 0 ];then

echo "[ `date +%Y%m%d' '%T` ]**********将本机系统时间同步至$hostname失败****************";

exit 1;

else

echo "[ `date +%Y%m%d' '%T` ]**********将本机系统时间同步至$hostname成功****************";

fi

done

该目录/home/hadoop/cdh_installpag/shell/time_tongbu.cfg的数据格式如下：

问题：

shell执行结果：

检测：

查看时间都是一致的了。

二

安装zookeeper组件

这个步骤请参考Hadoop分布式集群环境构建（1）

三

HBase 安装配置

1）、下载hbase安装包并解压

下载链接：http://pan.baidu.com/s/1hrDkXak 密码：i1ow

解压：

tar   -zxvf  hbase-1.0.0-cdh5.4.0.tar.gz  -C   /home/hadoop/

2)、配置 hbase-env.sh

cd  /home/hadoop/hbase/conf

vi   hbase-env.sh

添加如下的内容：

export JAVA_HOME=/home/hadoop/jdk

export HBASE_CLASSPATH=/home/hadoop/hadoop/etc/hadoop

export HBASE_HEAPSIZE=4000

export HBASE_LOG_DIR=/home/hadoop/hbase/logs

export HBASE_MANAGES_ZK=false

其中JAVA_HOME 是java的安装目录

HBASE_CLASSPATH 是hadoop的配置文件目录

HBASE_HEAPSIZE 的大小根据你的集群配置，默认是 1000

HBASE_LOG_DIR 是 HBase 日志存放位置

HBASE_MANAGES_ZK=false 含义为 hbase 不托管 zookeeper 的启动与关闭，因为笔者的 ZooKeeper 是独立安装的

3）、配置 hbase-site.xml

vi hbase-site.xml

加入如下内容

<configuration>

<property>

<name>hbase.rootdir</name>

<value>hdfs://mycluster/hbase</value>

</property>

<property>

<name>hbase.cluster.distributed</name>

<value>true</value>

</property>

<property>

<name>hbase.master</name>

<value>60000</value>

</property>

<property>

<name>hbase.tmp.dir</name>

<value>/home/hadoop/hadoop/data/hbase-tmp</value>

</property>

<property>

<name>hbase.zookeeper.quorum</name>

<value>hadoop3,hadoop4,hadoop5</value>

</property>

<property>

<name>hbase.zookeeper.property.dataDir</name>

<value>/home/hadoop/hadoop/data/hbasezk</value>

</property>

<property>

<name>hbase.zookeeper.property.clientPort</name>

<value>2181</value>

</property>

<property>

<name>zookeeper.session.timeout</name>

<value>120000</value>

</property>

<property>

<name>hbase.regionserver.restart.on.zk.expire</name>

<value>true</value>

</property>

<property>

<name>hbase.master.maxclockskew</name>

<value>180000</value>

<description>Time difference of regionserver from master</description>

</property>

<property>

<name>hbase.regionserver.thrift.http</name>

<value>true</value>

</property>

<property>

<name>hbase.thrift.support.proxyuser</name>

<value>true</value>

</property>

</configuration>

4）、配置 regionservers

vi  regionservers

加入如下内容（注意  根据自己实际情况添加）

5）、将hadoop中的hdfs-site.xml 与core-site.xml拷贝到hbase的conf目录

至此hbase基本配置完成。

6）、分发hbase修改好的安装包到其他主机

scp /home/hadoop/hbase/  hadoop@hadoop3:/home/hadoop/

scp /home/hadoop/hbase/  hadoop@hadoop5:/home/hadoop/

四

启动hbase

在其中hadoop4主机上启动 Hmaster,执行命令。

start-hbase.sh

因为采用的是HA模式，所以需要启动另一台备用主节点

./hbase-daemon.sh start master

五

hbase  shell基本测试

1）、hbase  shell

创建表查看表

至此hbase安装成功

后面会不定期的更新有关大数据、云计算、数据挖掘等方面的知识点，欢迎大家持续关注。如果对该知识点有疑问，欢迎在留言区留言讨论。