hbase 的hdfs目录解析

Posted 2020-12-19 students

Hbase在hdfs上的存储位置，根目录是由配置项hbase.rootdir决定，默认就是"/hbase"

其中hbase master 的webui 由参数hbase.master.info.port决定，一般配置为 60010

 [dip@g3-test-36 ~]$ hadoop fs -ls /hbase
Found 7 items
drwxr-xr-x   - dip supergroup          0 2020-07-30 15:43 /hbase/.tmp
drwxr-xr-x   - dip supergroup          0 2020-07-30 15:43 /hbase/MasterProcWALs
drwxr-xr-x   - dip supergroup          0 2020-07-30 15:43 /hbase/WALs
drwxr-xr-x   - dip supergroup          0 2020-07-30 15:43 /hbase/data
-rw-r--r--   3 dip supergroup         42 2020-07-30 15:43 /hbase/hbase.id
-rw-r--r--   3 dip supergroup          7 2020-07-30 15:43 /hbase/hbase.version
drwxr-xr-x   - dip supergroup          0 2020-07-30 15:43 /hbase/oldWALs

一、/hbase/.tmp

当对表做创建或者删除操作的时候，会将表move 到该 tmp 目录下，然后再去做处理操作。

二、/hbase/MasterProcWALs

这部分存储的是hbase master的状态日志，仔细搜索了一下相关文章，发现cdh的社区大佬faston发表过一篇文章：《由MasterProcWals状态日志过多导致的HBase Master重启失败问题》

需要琢磨一下配置定期清理策略（cdh和apache环境）

 

 

 

/hbase/WALs
在该目录下，对于每个RegionServer，都会对应1~n个子目录

 

 

 /hbase/oldWALs

当/hbase/WALs中的HLog文件被持久化到存储文件时，它们就会被移动到/hbase/oldWALs

/hbase/hbase.id

集群唯一的id

/hbase/hbase.version

集群的文件格式版本信息