如何获取 HBase 表的 HFile 大小?

Posted

技术标签:

【中文标题】如何获取 HBase 表的 HFile 大小?【英文标题】:How to get HFile size of a HBase table? 【发布时间】:2015-10-12 20:01:48 【问题描述】:

我试图在 HBase 中获取 HFile 的一些指标详细信息。以下是问题。

    如何获取 Hbase 表的 HFile 的实际位置。 是否有任何 shell 命令可以获取合并后的文件大小。

我了解 Hfile 存储在 HDFS 中,因此数据以块的形式存储在不同的数据节点中。但是如何从 HBase 的角度获取合并的数据。

【问题讨论】:

您的问题表明对 HFiles 和 HBase 表缺乏基本的了解。您应该改写它以使其有意义或删除它。 【参考方案1】:

如您所说,Hbase 表数据存储在 hdfs 上。 hdfs上表数据的默认位置是/hbase/data/default path。 你可以使用

hadoop fs -dus /user/hbase/data/* 

命令用于表格的总大小。转到此路径下的表文件夹以获取 hfiles。对于 hfiles 的大小,您可以使用上面的命令或检查 hbase 母版页。您可以找到所有区域名称及其大小。

【讨论】:

它有所帮助,但我可以在我的表文件夹中看到许多子文件夹,以及数据所在服务器的详细信息。如何获取个人信息

以上是关于如何获取 HBase 表的 HFile 大小?的主要内容,如果未能解决你的问题,请参考以下文章

写一个读取hfile的mapreduce之获取HFile内容

HBase表的设计之行健的设计

HBase学习—高表与宽表的选择

Hive 数据导入 HBase

hbase在hdfs上目录的介绍

HBase篇-你不知道的HFile