电商数仓hbase

Posted 2022-11-28 周虽旧邦其命维新

1 hbase解压安装

首先保证Zookeeper集群的正常部署，并启动，Hadoop集群正常部署并启动

解压Hbase到指定目录：

tar -zxvf hbase-2.0.5-bin.tar.gz -C /opt/module

2 修改hbase配置文件

1.hbase-env.sh修改内容：

export HBASE_MANAGES_ZK=false

2.hbase-site.xml修改内容：

<configuration>
  <property>
    <name>hbase.rootdir</name>
    <value>hdfs://h102:8020/hbase</value>
  </property>
  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
  </property>
  <property>
    <name>hbase.zookeeper.quorum</name>
    <value>h102,h103,h104</value>
  </property>
</configuration>

3.regionservers：

h102
h103
h104

4.软连接hadoop配置文件到HBase：(集群中配置了HADOOP_HOME可以跳过)

ln -s /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml /opt/module/hbase/conf/core-site.xml
ln -s /opt/module/hadoop-3.1.3/etc/hadoop/hdfs-site.xml /opt/module/hbase/conf/hdfs-site.xml

3 HBase远程发送到其他集群

xsync hbase/

4 Hbase启动

4.1 启动方式1

 bin/hbase-daemon.sh start master
 bin/hbase-daemon.sh start regionserver

提示：如果集群之间的节点时间不同步，会导致regionserver无法启动，抛出ClockOutOfSyncException异常。

修复提示：

a、同步时间服务

请参看帮助文档：《尚硅谷大数据技术之Hadoop入门》

b、属性：hbase.master.maxclockskew设置更大的值

<property>
        <name>hbase.master.maxclockskew</name>
        <value>180000</value>
        <description>Time difference of regionserver from master</description>
</property>

4.2 启动方式2

bin/start-hbase.sh

对应的停止服务：

bin/stop-hbase.sh

5 查看HBase页面

启动成功后，可以通过“host:port”的方式来访问HBase管理页面，例如：

http://h102:16010

如果Region Servers数量正确，说明每个节点的Region Servers启动正常，如果下面system tables能看到默认的系统表，说明master启动正常。

6 配置环境变量

找到my_env.sh

vim /etc/profile.d/my_env.sh

添加hbase环境变量

#HBASE_HOME
export HBASE_HOME=/opt/module/hbase
export PATH=$PATH:$HBASE_HOME/bin

使环境变量生效

 source /etc/profile.d/my_env.sh