HBase的安装部署

Posted 2021-04-19 Spark高级玩法

一、 准备环境

Java-- jdk-8u121-linux-x64.tar.gz

Hadoop--hadoop-2.7.4.tar.gz (jdk1.7会报错)

Hbase-- hbase-1.2.0-bin.tar.gz

Zookeeper-- zookeeper-3.4.5.tar.gz

Centos 6.5是本文采用的操作系统

二， 安装Zookeeper

Zookeeper的单机版安装很简单。主要是配置数据存储目录。

1，配置环境变量

# zookeeper

export ZOOKEEPER_HOME=/opt/modules/zookeeper-3.4.5/

export ZOOKEEPER_CONF_DIR=$ZOOKEEPER_HOME/conf

export PATH=$PATH:$ZOOKEEPER_HOME/bin

2，创建data目录

在Zookeeper的当前节点创建一个data子目录

mkdir -p /opt/modules/zookeeper-3.4.5/data

3，修改zoo.cfg

mv zoo_sample.cfg zoo.cfg

修改配置zoo.cfg，下面属性为我们创建的Zookeeper的data目录。

dataDir=/opt/modules/zookeeper-3.4.5/data

4，启动Zookeeper

zkServer.sh start

5，查看状态

zkServer.sh status

三， 安装测试hbase

Hbase的角色也简单，服务端就是master，regionserver，Zookeeper，剩下的就是管理客户端或者数据插入读取客户端。配置使用hbase主要有以下几个步骤。

1， regionserver配置

主要是配置主机名，其实不配置也可以，就是要逐台去启动，当然，也可以写个批处理脚本。

Luffy.OnePiece.com

2， 在hbse-site.xml中添加如下配置

要首先创建一个data/tmp目录。

mkdir -p /opt/modules/hbase-1.2.0/data/tmp

然后，修改hbase-site.xml

<property>

        <name>hbase.tmp.dir</name>

        <value>/opt/modules/hbase-1.2.0/data/tmp</value>

    </property>

    

    <property >

        <name>hbase.rootdir</name>

        <value>hdfs://Luffy.OnePiece.com:8020/hbase</value>

    </property>

    

    <property >

        <name>hbase.cluster.distributed</name>

        <value>true</value>

    </property>

    

    <property>

        <name>hbase.zookeeper.quorum</name>

        <value>Luffy.OnePiece.com</value>

    </property>

3， 启动hbase

首先要启动Zookeeper，因为hbase是依赖于Zookeeper的，然后启动hbase。

配置环境变量

# HBase

export HBASE_HOME=/opt/modules/hbase-1.2.0

export HBASE_CONF_DIR=$HBASE_HOME/conf

export PATH=$PATH:$HBASE_HOME/bin

启动hbase

    hbase-daemon.sh start master

    hbase-daemon.sh start regionserver    

4， 可在web浏览器中查看

以前的默认端口是60010，而新版本的是16010，在浏览器中输入

http://luffy.onepiece.com:16010

可以看到

5， 在Zookeeper中查看hbase信息

6， 测试hbase指令

首先输入，hbase shell等待

      创建表

       create 'user','info'

插入数据

      put 'user','1001','info:name','lisi'

put 'user','1001','info:age','18'

put 'user','1001','info:sex','male'

查看数据

scan 'user'

使用get查看数据

删除数据

禁用表

删除表

删除表要先禁用，再删除。

四，总结

Hbase是运行在Hadoop上的NoSQL数据库，它是一个分布式的和可扩展的大数据仓库，也就是说HBase能够利用HDFS的分布式处理模

式，并从Hadoop的MapReduce程序模型中获益。这意味着在一组商业硬件上存储许多具有数十亿行和上百万列的大表。除去Hadoop的优

势，HBase本身就是十分强大的数据库，它能够融合key/value存储模式带来实时查询的能力，以及通过MapReduce进行离线处理或者批处理

的能力。

HBase不是一个关系型数据库，它需要不同的方法定义你的数据模型，HBase实际上定义了一个四维数据模型，下面就是每一维度的定义：

行键：每行都有唯一的行键，行键没有数据类型，它内部被认为是一个字节数组。

列簇：数据在行中被组织成列簇，每行有相同的列簇，但是在行之间，相同的列簇不需要有相同的列修饰符。在引擎中，HBase将列簇存储在它自己的数据文件中，所以，它们需要事先被定义，此外，改变列簇并不容易。

列修饰符：列簇定义真实的列，被称之为列修饰符，你可以认为列修饰符就是列本身。

    推荐阅读：

    1，

    2，

    3，

    4，

关于Spark高级玩法

更多文章，敬请期待