单机版以及伪分布式版Hbase配置及常见问题解决办法

Posted Software_E

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了单机版以及伪分布式版Hbase配置及常见问题解决办法相关的知识，希望对你有一定的参考价值。

单机版以及伪分布式版Hbase配置及常见问题解决办法

下载Hbase

笔者使用的Hbase版本是2.3.7，适用于hadoop-2.10.x以及hadoop-3.x版本。以下为镜像下载网址：

点击此处跳转到Hbase-2.3.7版本下载镜像网址

下载 -bin 的压缩包。

配置以及测试Hbase

  1. 首先，使用tar命令将Hbase解压到任意目录（推荐主目录下：容易查找），放在 /usr/local 目录下会产生权限问题，下文会对其进行阐述。如果解压到非当前目录的时候记得加一个参数 -C，例如：

    tar -zxf Hbase-2.3.7.tar.gz -C ~

  2. 解压完成后，配置环境变量。/etc/profile 或者 ~/.bashrc 任选其一。例如：

    # 在/etc/profile 或者 ~/.bashrc 中
export HBASE_HOME=~/hbase-2.3.7
export PATH=$PATH:${HBASE_HOME}/bin

  3. 使用source命令生效刚刚配置的配置文件。

    source /etc/profile
source ~/.bashrc

  4. 此时，如果想使用单机Hbase，配置就到此结束了。可以使用如下命令查看Hbase版本：

    cd ~/hbase-2.3.7
./bin/hbase version

    如果查看版本的过程中前两行有如下报错（或者称其为警告）：

    /usr/local/hadoop/libexec/hadoop-functions.sh: 行 2366: HADOOP_ORG.APACHE.HADOOP.HBASE.UTIL.GETJAVAPROPERTY_USER：无效的变量名
    /usr/local/hadoop/libexec/hadoop-functions.sh: 行 2461: HADOOP_ORG.APACHE.HADOOP.HBASE.UTIL.GETJAVAPROPERTY_OPTS：无效的变量名

    ！！！！不要慌！！！！

    解决方法：

    ​ 打开 ~/hbase-2.3.7/conf （目录根据自己的目录进行修改）目录下的hbase-env.sh文件中进行编辑：

    ​ 找到最后几行的如下代码：

    ​ export HBASE_DISABLE_HADOOP_CLASSPATH_LOOKUP="true"

    ​ 解除他的注释状态。

  5. 此时就可以执行如下代码启动HMaster了：

    cd ~/hbase-2.3.7
./bin/start-hbase.sh
# 然后使用jps命令看看是否成功启动HMaster
jps
# 如果HMaster正常启动的话，单机Hbase就可以进入到shell中进行操作了
./bin/hbase shell
# 进入到hbase shell中可以使用以下语句查看是否可以正常进行操作
>create 'tablename','info'
>list

  6. 以下是伪分布式的Hbase的配置：

    # 打开 对应 hbase目录下的conf文件夹
cd ~/hbase-2.3.7/conf
# 对hbase-env.sh 文件进行编辑
sudo vim hbase-env.sh
# 在首部添加以下三行代码，JAVA_HOME 以及 Hadoop的路径根据自己的位置进行设置
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HBASE_CLASSPATH=~/hadoop-2.10.1/etc/hadoop
export HBASE_MANAGES_ZK=true
# 同样建议将文件末尾的以下代码取消他的注释状态，以免报无效变量名的错误
export HBASE_DISABLE_HADOOP_CLASSPATH_LOOKUP="true"

  7. 按 esc 之后输入 :wq 退出并保存编辑。

  8. 之后打开hbase-site.xml文件进行编辑：

    # 在configuration参数中添加如下代码
<property>
	<name>hbase.rootdir</name>
	# 因为是伪分布式的hbase，所以需要放置到对应的hdfs伪分布集群中
	# 需要hdfs的端口号设置为为9000
	<value>hdfs://localhost:9000/hbase</value>
</property>
<property>
	<name>hbase.cluster.distributed</name>
	<value>true</value>
</property>

  9. 设置完成之后，保存并退出编辑。

  10. 之后切换到对应的hadoop文件夹下启动hdfs集群：

    cd ~/hadoop-2.10.1
./sbin/start-dfs.sh
# 使用jps查看对应的namenode以及datanode是否启动成功
jps

  11. hdfs伪分布式集群启动成功之后，切换到对应的Hbase文件夹下：

    cd ~/hbase-2.3.7
./bin/start-hbase.sh
./bin/hbase shell
# 进入到hbase shell界面之后还是进行测试是否可以正常进行操作
>create 'tablename','info'
>list

报错总结

  1. 变量名报错：HADOOP_ORG.APACHE.HADOOP.HBASE.UTIL.GETJAVAPROPERTY_USER：无效的变量名

    解决方法：

    ​ 打开 ~/hbase-2.3.7/conf （目录根据自己的目录进行修改）目录下的hbase-env.sh文件中进行编辑：

    ​ 找到最后几行的如下代码：

    ​ export HBASE_DISABLE_HADOOP_CLASSPATH_LOOKUP=“true”

    ​ 解除他的注释状态。

  2. port 22：connection refused 报错：

    解决方法：安装设置ssh免密登录

    sudo apt-get install openssh-server
# 输入以下命令，然后输入yes，再输入密码进行登录
ssh localhost
# 生成公钥私钥（一直默认回车就可以），将在~/.ssh文件夹下生成文件id_rsa：私钥，id_rsa.pub：公钥
ssh-keygen -t rsa
# 导入公钥到认证文件，导入本机
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

  3. NoNode /hbase/master 报错：

    解决方法：

    # 输入jps检查是否启动了HMaster节点，伪分布式是否启动了hdfs伪分布式集群
jps
# 启动HMaster
cd ~/hbase-2.3.7
./bin/start-hbase.sh
jps # 查看是否成功启动HMaster
# 启动hdfs伪分布式集群
cd ~/hadoop-2.10.1
./sbin/start-dfs.sh
jps # 查看是否成功启动hdfs伪分布式集群
# 最后进入hbase shell中进行测试，就可以正常操作了
cd ~/hbase-2.3.7
./bin/hbase shell
>create 'tablename','info'
>list

  4. 在执行 ./bin/start-hbase.sh 的时候遇到权限不够的问题：

    # 原因就是把hbase解压在/usr/local文件夹下，而且该文件夹的拥有者是root
# 可以使用以下命令解决
cd /usr/local
# 这里的yourname是当前用户名
sudo chown -R yourname hbase-2.3.7/

    然后去hbase文件夹下执行./bin/start-hbase.sh就不会有权限问题了。这个方法比较简单且有效，切换为root用户执行start-hbase.sh文件有时候也会出现权限问题。所以建议解压到主目录或者改变解压后文件的拥有者为当前用户。

其他的问题欢迎提出，笔者努力解决

以上是关于单机版以及伪分布式版Hbase配置及常见问题解决办法的主要内容，如果未能解决你的问题，请参考以下文章

HBase入门基础教程 HBase之单机模式与伪分布式模式安装

HBase基础教程1HBase之单机模式与伪分布式模式安装(转)

HBase安装配置

Hbase的安装和多节点配置

Hadoop 单机版和伪分布式版安装

hbase伪集群搭建