hbase集群配置

Posted ye-hcj

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hbase集群配置相关的知识,希望对你有一定的参考价值。

说明

hbase想正确配置成功的前提是,你必须知道hadoop集群和zookeeper集群是如何配置的

安装

下载地址 http://mirror.bit.edu.cn/apache/hbase/2.1.1/

tar -zxvf hbase-2.1.1-bin.tar.gz    解压
mv hbase-2.1.1 hbase                换名

配置环境变量
    sudo vim /etc/profile
    添加
    export HBASE_HOME=/usr/local/hbase
    export PATH=$HBASE_HOME/bin:$PATH
    source /etc/profile 使文件生效

配置

  1. hosts

    sudo vim /etc/hosts
    添加
    192.168.76.128  master
    192.168.76.129  worker1
    192.168.76.130  worker2
    192.168.76.131  worker3
  2. hbase-env.sh

    sudo vim hbase-env.sh
    添加如下配置
    export JAVA_HOME=/usr/src/jdk-11.0.1
    export HBASE_OPTS="-XX:+UseConcMarkSweepGC"
    export HBASE_MANAGES_ZK=false
  3. regionservers

    配置从节点
    sudo vim regionservers
    添加
    worker1
    worker2
    worker3
  4. hbase-site.xml

    sudo vim hbase-site.xml
    添加
    <property>
        <name>hbase.master</name>
        <value>master:60000</value> 
    </property>
    <property>
        <name>hbase.master.maxclockskew</name>
        <value>180000</value> 
    </property>
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://master:9000/hbase</value> 
    </property>
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value> 
    </property>
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>worker1,worker2,worker3</value> 
    </property>
    <property> 
        <name>hbase.zookeeper.property.clientPort</name> 
        <value>2182</value> 
    </property>
    <property>
        <name>hbase.zookeeper.property.dataDir</name>
        <value>/usr/local/tmpdata/zookeeper</value>
    </property>
    <property>
        <name>hbase.unsafe.stream.capability.enforce</name>
        <value>false</value>
    </property>
  5. core-site.xml

    将此文件放置于conf目录下
    
    <?xml version="1.0" encoding="UTF-8"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    
    <configuration>
        <property>
            <name>fs.defaultFS</name>
            <value>viewfs:///</value> 
        </property>
        <property>
            <name>fs.viewfs.mounttable.default.link./tmp</name>
            <value>hdfs://master</value> 
        </property>
    </configuration>
  6. hdfs-site.xml

    将此文件放置于conf目录下
    
    <?xml version="1.0" encoding="UTF-8"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    
    <configuration>
        <property>
            <name>dfs.replication</name>
            <value>2</value>
        </property>
        <property>
            <name>dfs.nameservices</name>
            <value>master</value> 
        </property>
        <property>
            <name>dfs.ha.namenodes.master</name>
            <value>nn1</value> 
        </property>
        <property>
            <name>dfs.namenode.rpc-address.master.nn1</name>
            <value>master:9000</value> 
        </property>
        <property>
            <name>dfs.namenode.http-address.master.nn1</name>
            <value>master:50070</value> 
        </property>
    </configuration>

启动

1. 安装hadoop集群 -> 请参考我的文章 https://www.cnblogs.com/ye-hcj/p/10192857.html,启动hadoop集群
2. 启动zookeeper集群 -> 在 worker1 worker2 worker3 下分别运行 hbase-daemon.sh start zookeeper
3. 在master中运行 start-hbase.sh 即可
4. 访问http://master:16010/master-status

网页效果

技术分享图片

一点废话

这篇文章是我学习it技术中目前遇到的最困难的一个,光配置这个hbase环境,足足折腾了我一个礼拜,不得不说百度,谷歌这些网站缺乏足够正确的文章
期间真的都想放弃学习了,在这里写这些,无非是提醒自己,再困难的事情慢慢的都会解决,并且以负责任的态度对待我每一篇文章

各位如果有任何疑问欢迎在下方留言,我会尽我所能。。。

以上是关于hbase集群配置的主要内容,如果未能解决你的问题,请参考以下文章

hbase集群配置

HBase连接数据库(集群)

HBase 高可用集群配置

HBase 高可用集群配置

HBase集群基于HDFS

Hbase_入门配置