此时确保 HBase 表中的行数增加的最有效方法是啥?

Posted

技术标签:

【中文标题】此时确保 HBase 表中的行数增加的最有效方法是啥?【英文标题】:What's the most efficient way to assure the row counts are increased in an HBase table at this very moment?此时确保 HBase 表中的行数增加的最有效方法是什么? 【发布时间】:2012-10-10 06:17:24 【问题描述】:

我想确保此时数据存储在 HBase 表中。我不需要确切的行数。为此,我在 HBase shell 中执行了两次count 'table_name' 命令:

hbase(main):001:0> count 'test_table', 100000
...
558549 row(s) in 360.1440 seconds

hbase(main):001:0> count 'test_table', 100000
...
558623 row(s) in 354.0270 seconds

但是当行数很大(> 200,000)时,时间太长了。

最有效的方法是什么?

【问题讨论】:

【参考方案1】:

尝试使用缓存值更大的count命令,我认为默认是10

count 'test_table', CACHE => 1000

如果还是太慢,你应该尝试使用 MapReduce Job

Run '$HADOOP_HOME/bin/hadoop jar hbase.jar rowcount'

【讨论】:

以上是关于此时确保 HBase 表中的行数增加的最有效方法是啥?的主要内容,如果未能解决你的问题,请参考以下文章

EF6 + SQL 14:将大量行上传到表中的最有效方法

SQL 计算表中的行数

使用POI读取EXCEL中的数据如何获得表中实际数据的行数?

jQuery:计算表中的行数

从google bigtable中删除空行的有效方法

如何加快计算 PostgreSQL 表中的行数?