Hbase统计表总行数的三种方式

Posted 2023-04-06

参考技术A 1. 使用HBase Shell自带的count命令统计：count 'hbase_table'

2. 使用HBase自带的MapReduce统计工具统计行数；
$HBASE_HOME/bin/hbase org.apache.hadoop.hbase.mapreduce.RowCounter

3. 使用Hive创建外表关联HBase数据表，然后使用SQL语句统计查询；
对于存在的hbase表，在hive中创建关联表，然后使用语句统计总行数
#select count(*) from Test;

统计HBase表行数的四种方式

参考技术A

有时候我们需要统计HBase表的行数，一般要么是写MR程序，要么是写SQL。以下就是可用的几种方式：

HBase Shell 自带的统计函数命令
hbase> count \'t1\'
hbase> count \'t1\',INTERVAL => 100000
hbase> count \'t1\', CACHE => 1000
hbase> count \'t1\', INTERVAL => 10, CACHE => 1000

注意 ：其中， INTERVAL 为统计的行数间隔，默认为1000， CACHE 为统计的数据缓存。这种方式效率很低，如果表行数很大的话不建议采用这种方式。

hbase org.apache.hadoop.hbase.mapreduce.RowCounter \'tablename\'

解释：这种方式效率比上一种要高很多，调用的hbase jar中自带的统计行数的类。

创建 Hive 与 HBase 的关联表，将 HBase 当作 Hive 的外部表。