HBase Shell 的基本操作

Posted Q-WHai

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了HBase Shell 的基本操作相关的知识,希望对你有一定的参考价值。

概述

前面写了一些 Hadoop, Zookeeper 及 Hbase 分布式环境搭建的文章。或许你在搭建的过程中遇到了一些不如意的事情,但我相信总是可以解决的。如果你已经完成了环境的搭建,那么就可以尽情玩耍了。
本文就先来玩玩 HBase Shell。


版权说明

著作权归作者所有。
商业转载请联系作者获得授权,非商业转载请注明出处。
本文作者:Q-WHai
发表日期: 2016年6月12日
本文链接:https://qwhai.blog.csdn.net/article/details/51646388
来源:CSDN
更多内容:分类 >> 大数据之 Hadoop


Shell

login shell

想要玩 shell,首先你得登录进去。登录很简单

$ hbase shell
2016-06-11 20:05:29,095 INFO  [main] Configuration.deprecation: hadoop.native.lib is deprecated. Instead, use io.native.lib.available
HBase Shell; enter 'help<RETURN>' for list of supported commands.
Type "exit<RETURN>" to leave the HBase Shell
Version 0.96.2-hadoop2, r1581096, Mon Mar 24 16:03:18 PDT 2014

hbase(main):001:0>

这样就进入了 hbase 的 shell 环境了。

通用命令

序号命令描述
1status提供 HBase 的状态,例如,服务器的数量
2version提供正在使用 HBase 版本
3table_help表引用命令提供帮助
4whoami提供有关用户的信息

check status

查询服务器状态

hbase(main):001:0> status
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/home/hadoop/hbase/lib/slf4j-log4j12-1.6.4.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/home/hadoop/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
3 servers, 0 dead, 0.6667 average load

这里显示了有三台服务器,没有服务器挂掉。

version

查询服务器版本

hbase(main):002:0> version
0.96.2-hadoop2, r1581096, Mon Mar 24 16:03:18 PDT 2014

whoami

hbase(main):040:0> whoami
hadoop (auth:SIMPLE)

create table

现在我们来创建一张数据表,比如数据表 student,字段有: student_id, name, sex, age. 那么我们可以这样来写创建语句:
基本格式:create ‘表名称’, ‘列名称1’,‘列名称2’,…,‘列名称N’

hbase(main):003:0> create 'student','student_id','name','sex','age'
0 row(s) in 5.5210 seconds

=> Hbase::Table - student

show table

对于刚刚创建的表,我们可以这样来查询是否已经创建成功。list 命令有点类似于 mysql 中的 show.

hbase(main):004:0> list
TABLE
student
1 row(s) in 0.3350 seconds

=> ["student"]

但是如果你的数据表太多,用肉眼去扫描显然是一件吃力的事情,这时你可以使用 exists 命令直接去判断这个数据表是否存在。这里我用两个数据表进行测试,一个是已经存在的 student,还有一个就是并不存在的 student1,这样就可以进行对比了。

hbase(main):006:0> exists 'student'
Table student does exist
0 row(s) in 0.1580 seconds
hbase(main):007:0> exists 'student1'
Table student1 does not exist
0 row(s) in 0.0430 seconds

而如果想要查看具体表的详情,可以这样来操作。其实在 MySQL 中也有类似的操作,如果你还记得的话。(偷偷告诉你,是 desc table_name;

hbase(main):005:0> describe 'student'
DESCRIPTION                                                                                                                                              ENABLED
 'student', NAME => 'age', BLOOMFILTER => 'ROW', VERSIONS => '1', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'false', DATA_BLOCK_ENCODING => 'NONE', T true
 TL => '2147483647', COMPRESSION => 'NONE', MIN_VERSIONS => '0', BLOCKCACHE => 'true', BLOCKSIZE => '65536', REPLICATION_SCOPE => '0', NAME => 'name',
  BLOOMFILTER => 'ROW', VERSIONS => '1', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'false', DATA_BLOCK_ENCODING => 'NONE', TTL => '2147483647', COMPRE
 SSION => 'NONE', MIN_VERSIONS => '0', BLOCKCACHE => 'true', BLOCKSIZE => '65536', REPLICATION_SCOPE => '0', NAME => 'sex', BLOOMFILTER => 'ROW', VERS
 IONS => '1', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'false', DATA_BLOCK_ENCODING => 'NONE', TTL => '2147483647', COMPRESSION => 'NONE', MIN_VERSIO
 NS => '0', BLOCKCACHE => 'true', BLOCKSIZE => '65536', REPLICATION_SCOPE => '0', NAME => 'student_id', BLOOMFILTER => 'ROW', VERSIONS => '1', IN_MEMO
 RY => 'false', KEEP_DELETED_CELLS => 'false', DATA_BLOCK_ENCODING => 'NONE', TTL => '2147483647', COMPRESSION => 'NONE', MIN_VERSIONS => '0', BLOCKCACH
 E => 'true', BLOCKSIZE => '65536', REPLICATION_SCOPE => '0'
1 row(s) in 0.3310 seconds

insert data

现在就可以进行添加数据。

hbase(main):008:0> put 'student','1001','name','Bob'
0 row(s) in 0.3850 seconds

hbase(main):009:0> put 'student','1001','sex','Male'
0 row(s) in 0.0960 seconds

hbase(main):010:0> put 'student','1001','age','18'
0 row(s) in 0.0500 seconds

上面的这些操作是向 student 表中的学号为 1001 的行添加了 name=Bob;sex=Male;age=18 的记录。

select data

我们可以根据学号查询某一个学号下的所有信息,如下:

hbase(main):012:0> get 'student','1001'
COLUMN                                                       CELL
 age:                                                        timestamp=1465701894640, value=18
 name:                                                       timestamp=1465701805984, value=Bob
 sex:                                                        timestamp=1465701881247, value=Male
3 row(s) in 0.0690 seconds

也可以根据学号及列族查询,如下:

hbase(main):013:0> get 'student','1001','name'
COLUMN                                                       CELL
 name:                                                       timestamp=1465701805984, value=Bob
1 row(s) in 0.0100 seconds

如果你想扫描整个数据表(虽然不建议,但是如果你想),你可以使用 scan.

hbase(main):024:0> scan 'student'
ROW                                                          COLUMN+CELL
 1001                                                        column=age:, timestamp=1465702655984, value=19
 1001                                                        column=name:, timestamp=1465701805984, value=Bob
 1001                                                        column=sex:, timestamp=1465701881247, value=Male
 1002                                                        column=age:, timestamp=1465703066425, value=17
 1002                                                        column=name:, timestamp=1465703048791, value=Alice
 1002                                                        column=sex:, timestamp=1465703060804, value=female
2 row(s) in 0.0400 seconds

查询数据表有多少行,请使用 count 命令。

hbase(main):027:0> count 'student'
2 row(s) in 0.0650 seconds

=> 2

update data

在学习 HBase 的一开始我们就知道了,Hbase 中的 update 其实是一个伪 update 操作。因为所有的 update 都是在 put 一条新的记录。

hbase(main):014:0> put 'student','1001','age','19'
0 row(s) in 0.0280 seconds
hbase(main):015:0> get 'student','1001'
COLUMN                                                       CELL
 age:                                                        timestamp=1465702655984, value=19
 name:                                                       timestamp=1465701805984, value=Bob
 sex:                                                        timestamp=1465701881247, value=Male
3 row(s) in 0.0380 seconds

如果你怀疑这种说法的可靠性,你可以进行验证,验证的方法就查找两个不同版本的数据。

hbase(main):016:0> get 'student','1001',COLUMN=>'age',TIMESTAMP=>1465701894640
COLUMN                                                       CELL
 age:                                                        timestamp=1465701894640, value=18
1 row(s) in 0.0460 seconds
hbase(main):017:0> get 'student','1001',COLUMN=>'age',TIMESTAMP=>1465702655984
COLUMN                                                       CELL
 age:                                                        timestamp=1465702655984, value=19
1 row(s) in 0.0180 seconds

delete data

删除某一个字段

hbase(main):025:0> delete 'student','1001','sex'
0 row(s) in 0.5230 seconds

而在验证的时候,sex 这个列没有被打印出来。这就说明删除成功了。

hbase(main):026:0> get 'student','1001'
COLUMN                                                       CELL
 age:                                                        timestamp=1465702655984, value=19
 name:                                                       timestamp=1465701805984, value=Bob
2 row(s) in 0.0410 seconds

根据学号删除一整行数据
如果你想删除学号为 1001 这一整行数据,这其实是一件麻烦的事情,因为你需要依次“删除” 1001 下的所有字段。当所有字段的数据被“删除”干净的时候,这一行的数据才会被“删除”。

hbase(main):025:0> delete 'student','1001','sex'
0 row(s) in 0.5230 seconds

hbase(main):030:0> delete 'student','1001','age'
0 row(s) in 0.0210 seconds

hbase(main):031:0> delete 'student','1001','name'
0 row(s) in 0.0100 seconds

hbase(main):032:0> get 'student','1001'
COLUMN                                                       CELL
0 row(s) in 0.0080 second

清空数据表
清空表的操作跟 MySQL 中的清空很像。都是使用 truncate 命令。不同的是清空的过程。

hbase(main):034:0> truncate 'student'
Truncating 'student' table (it may take a while):
 - Disabling table...
 - Dropping table...
 - Creating table...
0 row(s) in 3.5380 seconds

在上面打印出来的信息中可以看出,清空的三个关键步骤:disable、drop、create.
这也是由于 hbase 不能修改数据的造成的。下面进行验证:

hbase(main):036:0> scan 'student'
ROW                                                          COLUMN+CELL
0 row(s) in 0.0150 seconds

attributes

这一节是说明一下 HBase 数据库属性说明及其设置。
由于之前清空了数据表,这里我们重新创建一个表 staff。字段为 ‘name’,‘number’,‘info’。

序号命令描述
1disable禁用表
2is_disabled验证表是否被禁用
3enable启用一个表
4is_enabled验证表是否已启用
5alter改变一个表
6exists验证表是否存在

is_enabled & is_disabled

hbase(main):002:0> is_enabled 'staff'
true
0 row(s) in 0.6660 seconds

hbase(main):003:0> is_disabled 'staff'
false
0 row(s) in 0.1190 seconds

disable & enable

hbase(main):004:0> disable 'staff'
0 row(s) in 1.6220 seconds

这样我们就设置了 ‘staff’ 表被禁用了,验证信息如下:

hbase(main):006:0> is_enabled 'staff'
false
0 row(s) in 0.0750 seconds

hbase(main):007:0> is_disabled 'staff'
true
0 row(s) in 0.0350 seconds

现在我们在 ‘staff’ 表被禁用的情况下对表进行一个 put 操作,就会出现异常状况。而且从异常信息可以看出,这里并没有说明是由于表被禁用引起的异常,所以在以后的代码编写中这一点需要注意一下。

hbase(main):008:0> put 'staff','John','number','13812345879'

ERROR: Failed 1 action: NotServingRegionException: 1 time,

Here is some help for this command:
Put a cell 'value' at specified table/row/column and optionally
timestamp coordinates.  To put a cell value into table 'ns1:t1' or 't1'
at row 'r1' under column 'c1' marked with the time 'ts1', do:

  hbase> put 'ns1:t1', 'r1', 'c1', 'value', ts1

The same commands also can be run on a table reference. Suppose you had a reference
t to table 't1', the corresponding command would be:

  hbase> t.put 'r1', 'c1', 'value', ts1

我们再来启用 ‘staff’ 表,再进行上面的测试试一下。

hbase(main):009:0> enable 'staff'
0 row(s) in 1.1610 seconds
hbase(main):010:0> put 'staff','John','number','13812345879'
0 row(s) in 0.0210 seconds

alter

设置单元的最大数目

hbase(main):003:0> alter 'staff', NAME => 'info', VERSIONS => 5
Updating all regions with the new schema...
0/1 regions updated.
1/1 regions updated.
Done.
0 row(s) in 2.4370 seconds

设置只读

hbase(main):010:0> alter 'staff', READONLY
Updating all regions with the new schema...
0/1 regions updated.
1/1 regions updated.
Done.
0 row(s) in 2.5380 seconds

exit

退出 shell 就使用 exit 就 ok 了。

hbase(main):015:0> exit

Ref

  • http://www.yiibai.com/hbase/

征集

如果你也需要使用ProcessOn这款在线绘图工具,可以使用如下邀请链接进行注册:
https://www.processon.com/i/56205c2ee4b0f6ed10838a6d

以上是关于HBase Shell 的基本操作的主要内容,如果未能解决你的问题,请参考以下文章

Hbase shell

HBase 的 Shell 操作一应俱全

HBase学习01(HBase入门及HBase Shell简单操作)

HBase学习01(HBase入门及HBase Shell简单操作)

HBase学习01(HBase入门及HBase Shell简单操作)

hbase中shell命令