1.2.3 数据模型 1 ） Name Space 命名空间，类似于关系型数据库的 DatabBase 概念，每个命名空间下有多个表。 HBase有两个自带的命名空间，分别是 hbase 和 default ， hbase 中存放的是 HBase 内置的表， default 表是用户默认使用的命名空间。 2 ） Region 类似于关系型数据库的表概念。不同的是， HBase 定义表时只需要声明列族即可，不需要声明具体的列。这意味着，往 HBase 写入数据时，字段可以动态、按需指定。因此，和关系型数据库相比，HBase 能够轻松应对字段变更的场景。 3 ） Row HBase 表中的每行数据都由一个 RowKey 和多个 Column （列） 组成，数据是按照RowKey 的 字典顺序存储 的，并且查询数据时只能根据 RowKey 进行检索，所以 RowKey的设计十分重要。 4 ） Column HBase 中的每个列都由 Column Family( 列族 ) 和 Column Qualifier （列限定符） 进行限定，例如 info ： name ， info ： age 。建表时，只需指明列族，而列限定符无需预先定义。 5 ） Time Stamp 用于标识数据的不同版本（version），每条数据写入时，如果不指定时间戳，系统会自动为其加上该字段，其值为写入 HBase 的时间。 6 ） Cell 由 rowkey, column Family ： column Qualifier, time Stamp 唯一确定的单元。 cell 中的数据是没有类型的，全部是字节码形式存贮。

1.3 HBase 基本架构

架构角色： 1 ） Region Server Region Server 为 Region 的管理者，其实现类为 HRegionServer ，主要作用如下： ①对于数据的操作： get, put, delete ； ②对于 Region 的操作： splitRegion 、 compactRegion 。 2 ） Master Master 是所有 Region Server 的管理者，其实现类为 HMaster ，主要作用如下： ①对于表的操作： create, delete, alter ②对于 RegionServer 的操作：分配 regions 到每个 RegionServer ，监控每个 RegionServer的状态，负载均衡和故障转移。 3 ） Zookeeper HBase 通过 Zookeeper 来做 Master 的高可用、 RegionServer 的监控、元数据的入口以及集群配置的维护等工作。 4 ） HDFS HDFS 为 HBase 提供最终的底层数据存储服务，同时为 HBase 提供高可用的支持。

第 2 章：HBase 快速入门

2.1 HBase 安装部署

2.1.1 Zookeeper 正常部署 首先保证 Zookeeper 集群的正常部署，并启动之：

[root@master zookeeper]# bin/zkServer.sh start [root@node1 zookeeper]# bin/zkServer.sh start [root@node2 zookeeper]# bin/zkServer.sh start

2.1.2 Hadoop 正常部署 Hadoop 集群的正常部署并启动：

[root@master hadoop]# sbin/start-all.sh

2.1.3 HBase 的解压 解压 Hbase 到指定目录：

[root@master package]# tar -zxvf hbase-1.4.6-bin.tar.gz -C /usr/local/soft/

2.1.4 HBase 的配置文件 修改 HBase 对应的配置文件。 1 ） hbase-env.sh 修改内容：

export JAVA_HOME=/usr/local/soft/jdk1.8.0_171 export HBASE_MANAGES_ZK=false

2 ） hbase-site.xml 修改内容：

<configuration> <property> <name>hbase.rootdir</name> <value>hdfs://master:9000/HBase</value> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property>  <property> <name>hbase.master.port</name> <value>16000</value> </property> <property> <name>hbase.zookeeper.quorum</name> <value>master,node1,node2</value> </property> <property> <name>hbase.zookeeper.property.dataDir</name> <value>/usr/local/soft/hbase/zkData</value> </property> </configuration>

3 ） regionservers ：

master node1 node2

4 ）软连接 hadoop 配置文件到 HBase ：

[root@master soft]# ln -s /usr/local/soft/hadoop-2.7.6/etc/hadoop/core-site.xml /usr/local/soft/hbase/conf/core-site.xml [root@master soft]# ln -s /usr/local/soft/hadoop-2.7.6/etc/hadoop/hdfs-site.xml /usr/local/soft/hbase/conf/hdfssite.xml

2.1.5 HBase 远程发送到其他集群

[root@master soft]# scp -r hbase node1:`pwd` [root@master soft]# scp -r hbase node2:`pwd`

2.1.6 HBase 服务的启动 1 ．启动方式

[root@master hbase]# bin/hbase-daemon.sh start master [root@master hbase]# bin/hbase-daemon.sh start regionserver

提示： 如果集群之间的节点时间不同步，会导致 regionserver 无法启动，抛出 ClockOutOfSyncException 异常。 修复提示： ①百度， linux 时间同步 ②属性： hbase.master.maxclockskew 设置更大的值

<property> <name>hbase.master.maxclockskew</name> <value>180000</value> <description>Time difference of regionserver from master</description> </property>

2 ．启动方式 2

[root@master hbase]# bin/start-hbase.sh

对应的停止服务：

[root@master hbase]# bin/stop-hbase.sh

2.1.7 查看 HBase 页面启动成功后，可以通过“host:port”的方式来访问 HBase 管理页面，例如：

http://master:16010

2.2 HBase Shell 操作

2.2.1 基本操作 1 ．进入 HBase 客户端命令行

[root@master hbase]# bin/hbase shell

2 ．查看帮助命令

hbase(main):001:0> help

3 ．查看当前数据库中有哪些表

hbase(main):002:0> list

2.2.2 表的操作 1 ．创建表

hbase(main):002:0> create 'student','info'

2 ．插入数据到表

hbase(main):003:0> put 'student','1001','info:sex','male' hbase(main):004:0> put 'student','1001','info:age','18' hbase(main):005:0> put 'student','1002','info:name','Janna' hbase(main):006:0> put 'student','1002','info:sex','female' hbase(main):007:0> put 'student','1002','info:age','20'

3 ．扫描查看表数据

hbase(main):008:0> scan 'student' hbase(main):009:0> scan 'student',STARTROW => '1001', STOPROW => '1001' hbase(main):010:0> scan 'student',STARTROW => '1001'

4 ．查看表结构

hbase(main):011:0> describe ‘student’

5 ．更新指定字段的数据

hbase(main):012:0> put 'student','1001','info:name','Nick' hbase(main):013:0> put 'student','1001','info:age','100'

6 ．查看“指定行”或“指定列族 : 列”的数据

hbase(main):014:0> get 'student','1001' hbase(main):015:0> get 'student','1001','info:name'

7 ．统计表数据行数

hbase(main):021:0> count 'student'

8 ．删除数据删除某 rowkey 的全部数据：

hbase(main):016:0> deleteall 'student','1001'

删除某 rowkey 的某一列数据：

hbase(main):017:0> delete 'student','1002','info:sex'

9 ．清空表数据

hbase(main):018:0> truncate 'student'

提示：清空表的操作顺序为先 disable ，然后再 truncate 。 10 ．删除表首先需要先让该表为 disable 状态：

hbase(main):019:0> disable 'student'

然后才能 drop 这个表：

hbase(main):020:0> drop 'student'

提示：如果直接 drop 表，会报错： ERROR: Table student is enabled. Disable it first. 11 ．变更表信息将 info 列族中的数据存放 3 个版本：

hbase(main):022:0> alter 'student',NAME=>'info',VERSIONS=>3 hbase(main):022:0> get 'student','1001',COLUMN=>'info:name',VERSIONS=>3

第 3 章 HBase 进阶

3.1 架构原理

1 ） StoreFile 保存实际数据的物理文件， StoreFile 以 HFile 的形式存储在 HDFS 上。每个 Store 会有一个或多个 StoreFile （ HFile ），数据在每个 StoreFile 中都是有序的。 2 ） MemStore 写缓存，由于 HFile 中的数据要求是有序的，所以数据是先存储在 MemStore 中，排好序后，等到达刷写时机才会刷写到 HFile ，每次刷写都会形成一个新的 HFile 。 3 ） WAL 由于数据要经 MemStore 排序后才能刷写到 HFile ，但把数据保存在内存中会有很高的概率导致数据丢失，为了解决这个问题，数据会先写在一个叫做 Write-Ahead logfile 的文件中，然后再写入MemStore 中。所以在系统出现故障的时候，数据可以通过这个日志文件重建。

3.2 写流程

写流程： 1 ） Client 先访问 zookeeper ，获取 hbase:meta 表位于哪个 Region Server 。 2 ）访问对应的 Region Server ，获取 hbase:meta 表，根据读请求的namespace:table/rowkey，查询出目标数据位于哪个 Region Server 中的哪个 Region 中。并将该 table 的 region 信息以及 meta 表的位置信息缓存在客户端的 meta cache ，方便下次访问。 3 ）与目标 Region Server 进行通讯； 4 ）将数据顺序写入（追加）到 WAL ； 5 ）将数据写入对应的 MemStore ，数据会在 MemStore 进行排序； 6 ）向客户端发送 ack ； 7 ）等达到 MemStore 的刷写时机后，将数据刷写到 HFile 。

3.3 MemStore Flush

MemStore 刷写时机： 1. 当某个 memstroe 的大小达到了 hbase.hregion.memstore.flush.size （默认值 128M ），其所在 region 的所有 memstore 都会刷写 。当 memstore 的大小达到了： hbase.hregion.memstore.flush.size （默认值 128M ） hbase.hregion.memstore.block.multiplier （默认值 4 ）时，会阻止继续 往该 memstore 写数据。 2. 当 region server 中 memstore 的总大小达到： java_heapsize *hbase.regionserver.global.memstore.size （默认值 0.4 ） *hbase.regionserver.global.memstore.size.lower.limit （默认值 0.95 ） region 会按照其所有 memstore 的大小顺序（由大到小）依次进行刷写。直到 region server 中所有 memstore 的总大小减小到上述值以下。当 region server 中 memstore 的总大小达到 java_heapsize*hbase.regionserver.global.memstore.size （默认值 0.4 ）时，会阻止继续往所有的 memstore 写数据。 3. 到达自动刷写的时间，也会触发 memstore flush 。自动刷新的时间间隔由该属性进行配置 hbase.regionserver.optionalcacheflushinterval （默认 1 小时）。 4. 当 WAL 文件的数量超过 hbase.regionserver.max.logs ， region 会按照时间顺序依次进行刷写，直到 WAL 文件数量减小到 hbase.regionserver.max.log 以下（ 该属性名已经废 弃，现无需手动设置，最大值为 32 ）。

3.4 读流程

读流程 1 ） Client 先访问 zookeeper ，获取 hbase:meta 表位于哪个 Region Server 。 2 ）访问对应的 Region Server ，获取 hbase:meta 表，根据读请求的namespace:table/rowkey，查询出目标数据位于哪个 Region Server 中的哪个 Region 中。并将该 table 的 region 信息以及 meta 表的位置信息缓存在客户端的 meta cache ，方便下次访问。 3 ）与目标 Region Server 进行通讯； 4 ）分别在 Block Cache （读缓存）， MemStore 和 Store File （ HFile ）中查询目标数据，并将查到的所有数据进行合并。此处所有数据是指同一条数据的不同版本（time stamp）或者不同的类型（Put/Delete）。 5 ）将从文件中查询到的数据块（ Block ， HFile 数据存储单元，默认大小为 64KB ）缓存到 Block Cache 。 6 ）将合并后的最终结果返回给客户端。

3.5 StoreFile Compaction

由于 memstore 每次刷写都会生成一个新的 HFile ，且同一个字段的不同版本（timestamp）和不同类型（Put/Delete）有可能会分布在不同的 HFile 中，因此查询时需要遍历所有的HFile。为了减少 HFile 的个数，以及清理掉过期和删除的数据，会进行 StoreFile Compaction 。Compaction 分为两种，分别是 Minor Compaction 和 Major Compaction 。 Minor Compaction 会将临近的若干个较小的 HFile 合并成一个较大的 HFile ，但 不会清理过期和 删除的数据 。Major Compaction 会将一个 Store 下的所有的 HFile 合并成一个大 HFile ，并且会清 理掉过期和删除的数据 。

3.6 Region Split

默认情况下，每个 Table 起初只有一个 Region ，随着数据的不断写入， Region 会自动进行拆分。刚拆分时，两个子 Region 都位于当前的 Region Server ，但处于负载均衡的考虑， HMaster 有可能会将某个 Region 转移给其他的 Region Server 。 Region Split 时机： 1. 当 1 个 region 中的某个 Store 下所有 StoreFile 的总大小超 hbase.hregion.max.filesize ，该 Region 就会进行拆分（0.94 版本之前）。 2. 当 1 个 region 中的某个 Store 下所有 StoreFile 的总大小超过 Min(R^2*"hbase.hregion.memstore.flush.size",hbase.hregion.max.filesize")，该 Region 就会进行拆分，其中 R 为当前 Region Server 中属于该 Table 的个数（0.94 版本之后）。

第 4 章 HBase API

4.1 环境准备

新建项目后在 pom.xml 中添加依赖：

<dependency> <groupId>org.apache.zookeeper</groupId> <artifactId>zookeeper</artifactId> <version>3.4.1</version> </dependency>  <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <version>1.4.6</version> </dependency>

4.2 HBaseAPI

4.2.1 获取 Configuration 对象

public static Configuration conf; static // 使用 HBaseConfiguration 的单例方法实例化 conf = HBaseConfiguration.create(); conf.set("hbase.zookeeper.quorum", "192.168.152.100"); conf.set("hbase.zookeeper.property.clientPort", "2181");

4.2.2 判断表是否存在

public static boolean isTableExist(String tableName) throws MasterNotRunningException, ZooKeeperConnectionException, IOException // 在 HBase 中管理、访问表需要先创建 HBaseAdmin 对象 //Connection connection = ConnectionFactory.createConnection(conf); //HBaseAdmin admin = (HBaseAdmin) connection.getAdmin(); HBaseAdmin admin = new HBaseAdmin(conf); return admin.tableExists(tableName);

4.2.3 创建表

public static void createTable(String tableName, String... columnFamily) throws MasterNotRunningException, ZooKeeperConnectionException, IOException HBaseAdmin admin = new HBaseAdmin(conf); // 判断表是否存在 if(isTableExist(tableName)) System.out.println(" 表 " + tableName + " 已存在 "); //System.exit(0); else // 创建表属性对象 , 表名需要转字节 HTableDescriptor descriptor = new HTableDescriptor(TableName.valueOf(tableName)); // 创建多个列族 for(String cf : columnFamily) descriptor.addFamily(new HColumnDescriptor(cf)); // 根据对表的配置，创建表 admin.createTable(descriptor); System.out.println(" 表 " + tableName + " 创建成功！ ");

4.2.4 删除表

public static void dropTable(String tableName) throws MasterNotRunningException, ZooKeeperConnectionException, IOException HBaseAdmin admin = new HBaseAdmin(conf); if(isTableExist(tableName)) admin.disableTable(tableName); admin.deleteTable(tableName); System.out.println(" 表 " + tableName + " 删除成功！ "); else System.out.println(" 表 " + tableName + " 不存在！ ");

4.2.5 向表中插入数据

public static void addRowData(String tableName, String rowKey, String columnFamily, String column, String value) throws IOException // 创建 HTable 对象 HTable hTable = new HTable(conf, tableName); // 向表中插入数据 Put put = new Put(Bytes.toBytes(rowKey)); // 向 Put 对象中组装数据 put.add(Bytes.toBytes(columnFamily), Bytes.toBytes(column), Bytes.toBytes(value)); hTable.put(put); hTable.close(); System.out.println(" 插入数据成功 ");

4.2.6 删除多行数据

public static void deleteMultiRow(String tableName, String... rows) throws IOException HTable hTable = new HTable(conf, tableName); List<Delete> deleteList = new ArrayList<Delete>(); for(String row : rows) Delete delete = new Delete(Bytes.toBytes(row)); deleteList.add(delete); hTable.delete(deleteList); hTable.close();

4.2.7 获取所有数据

public static void getAllRows(String tableName) throws IOException HTable hTable = new HTable(conf, tableName); // 得到用于扫描 region 的对象 Scan scan = new Scan(); // 使用 HTable 得到 resultcanner 实现类的对象 ResultScanner resultScanner = hTable.getScanner(scan); for(Result result : resultScanner) Cell[] cells = result.rawCells(); for(Cell cell :
以上是关于HBase详解的主要内容，如果未能解决你的问题，请参考以下文章

Mac下安装HBase及详解

Hbase 入门详解

HBase架构——详解

大数据入门第十四天——Hbase详解hbase基本原理与MR操作Hbase

HBase详解

HBase详解