Ubuntu下为Hadoop安装配置Hbase教程

Posted Z.Q.Feng

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Ubuntu下为Hadoop安装配置Hbase教程相关的知识,希望对你有一定的参考价值。


前言

本教程运行环境是在 Ubuntu-64 位系统下,HBase 版本为 hbase-2.2.2,这是目前已经发行的已经编译好的稳定的版本,带有 src 的文件是未编译的版本,这里我们只要下载 bin 版本 hbase-2.2.2-bin.tar.gz 就好了。配套的 Hadoop 版本是 Hadoop3.2.2,这也是目前较新的一个 Hadoop 稳定版本。

注:这里不建议在 Hadoop3.3.1 版本下使用(已踩坑),装了 Hadoop3.3.1 版本的建议降一下版本到 Hadoop3.1.3 或 Hadoop3.2.2

一、安装 Hbase

1. 下载压缩包

官方下载地址:http://archive.apache.org/dist/hbase/,这里下载有点慢,大家自行解决一下。


2. 解压安装

解压 Hbase 压缩包到 /usr/local/ 目录下:

sudo tar -zxf ~/Downloads/hbase-2.2.2-bin.tar.gz -C /usr/local

进入到 /usr/local 文件目录下,修改文件夹名称:

cd /usr/local
sudo mv ./hbase2.2.2 ./hbase

赋予 hadoop 用户相关文件夹权限:

sudo chown -R hadoop ./hbase

配置 Hbase 进环境变量:

vim ~/.bashrc

复制以下代码到最后一行:

export PATH=$PATH:/usr/local/hbase/bin:/usr/local/hadoop/bin:/usr/local/hadoop/sbin

使环境变量立即生效:

source ~/.bashrc

验证版本号,检验安装:

./bin/hbase version

此处输出如下所示:

/usr/local/hbase$ bin/hbase version
HBase 2.2.2
Source code repository git://6ad68c41b902/opt/hbase-rm/output/hbase revision=e6513a76c91cceda95dad7a
f246ac81d46fa2589
Compiled by hbase-rm
on Sat Oct 19 10:10:12 UTC 2019
From source with checksum 4d23f97701e395c5d34db1882ac5021b /usr/local/hbase>


3. 伪分布式安装配置

Hbase 配置之前需要我们确定以下配置已经存在并配置成功:

  • Hadoop 伪分布式配置成功
  • SSH 无密码登录
  • JDK 已配置并加入环境变量中

若电脑上未安装成功,请参考我的前两篇博客配置安装:Ubuntu下单机安装Hadoop详细教程Ubuntu下伪分布式安装Hadoop详细教程

配置 /usr/local/hbase/conf/hbase-env.xml 文件:

gedit /usr/local/hbase/conf/hbase-env.xml

配置 JAVA_HOME,HBASE_CLASSPATH,HBASE_MANAGES_ZK 等几行为以下内容(这几行在文件中存在且被注释,我们只需删除注释符“#”并修改内容即可),我们可使用 Ctrl+F 组合建搜索其位置:

export JAVA_HOME=/usr/liv/jvm/jdk1.8.0_301
export HBASE_CLASSPATH=/usr/local/hbase/conf
export HBASE_MANAGES_ZK=true

另外若想删除启动时的无关警告输出,可以在这里删除掉最后一行的注释符:

export HBASE_DISABLE_HADOOP_CLASSPATH_LOOKUP="true"

接着配置 /usr/local/hbase/conf/hbase-site.xml 文件:

gedit /usr/local/hbase/conf/hbase-site.xml

修改 configurations 里的内容如下所示:

<configuration>
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://localhost:9000/hbase</value>
    </property>
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
    <property>
        <name>hbase.unsafe.stream.capability.enforce</name>
        <value>false</value>
    </property>
</configuration>

到这里,Hbase 的伪分布式安装就装好啦。


二、运行测试Hbase

1. 启动Hbase

注:这里的启动顺序一定要是:SSH 登录到 localhost ---> 启动 Hadoop ---> 启动 Hbase

首先 SSH 登录到本地:

ssh localhost

接着启动 Hadoop 相关结点:

cd /usr/local/hadoop
./sbin/start-dfs.sh

接着启动 Hbase:

cd /usr/local/hbase
./bin/start-hbase.sh

启动后,我们可以输入 jps 查看启动情况:

jps

正常启动输出如下:

/usr/local/hbase$ jps
7879 Jps
8093 HMaster
7777 NameNode
9031 DataNode
8765 HRegionserver
8907 HQuorumPeer
7654 SecondaryNameNode


2. 测试Hbase

输入以下命令,打开 Hbase shell:

/usr/local/hbase/bin/hbase shell

输入以下命令,创建表:

  create 'student','Sname','Ssex','Sage','Sdept','course'

正确执行截图如下:

接着测试 list 命令:

list

以及 status 命令:

status

若无报错,则恭喜你 Hbase 安装成功!


三、部分错误处理

1. 启动 Hbase 后 jps 无对应输出

这种情况下需要检查自己的配置文件 /usr/local/hbase/conf/hbase-site.xml,仔细检查是否有打错或缺漏情况:

<configuration>
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://localhost:9000/hbase</value>
    </property>
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
    <property>
        <name>hbase.unsafe.stream.capability.enforce</name>
        <value>false</value>
    </property>
</configuration>

注意这里这一段是要替换掉原文件的 <configuretion></configuration>的,实在不行可以把这一段删掉重新复制粘贴一次,再启动 Hbase


2. 使用 Hbase shell 时出现部分命令使用不了

重启计算机,或者重新启动你的 Hadoop 和 SSH 服务,注意这里一定要按照 SSH 登录到 localhost ---> 启动 Hadoop ---> 启动 Hbase的顺序启动!


总结

以上是关于Ubuntu下为Hadoop安装配置Hbase教程的主要内容,如果未能解决你的问题,请参考以下文章

VMware12使用三台虚拟机Ubuntu16.04系统搭建hadoop-2.7.1+hbase-1.2.4(完全分布式)

Ubuntu下安装Spark3.2.0教程

Ubuntu: GlusterFS+HBase安装教程

Ubuntu 安装HBase

Ubuntu下安装Hive3.1.2教程(附MySQL安装方法及安装包)

Ubuntu下安装Hive3.1.2教程(附MySQL安装方法及安装包)