HDFS oiv解析Fsimage OOM异常处理

Posted 2021-04-14 Eights做数据

本篇文章大概1152字，阅读时间大约4分钟

本文记录hdfs oiv命令解析fsimage文件过程中的OOM异常处理解决方案

HDFS的Fsimage文件记录了集群的元数据信息，是进行集群健康度分析的基础。利用HDFS oiv命令可以解析fsimage文件，解析后的文件放入Hive中即可进行集群元数据的详细分析。

1

问题描述

运行以下命令，获取hdfs集群的fsimage文件，并使用oiv命令进行解析

#获取fsimage文件
hdfs dfsadmin -fetchImage /hdfs_meta

#使用oiv命令将fsimage文件解析为csv文件
hdfs oiv -i /hdfs_meta/fsimage_xxxxxxxxx -o /hdfs_meta/fsimage.csv -p Delimited

异常信息

喜闻乐见的OOM

2

解决思路

解析fsimage文件出现OOM，初步考虑是HDFS Client的java heap设置小了，于是尝试在hdfs oiv命令前指定HADOOP_CLIENT_OPTS

HADOOP_CLIENT_OPTS='-Xmx5000m' hdfs oiv -i /hdfs_meta/fsimage_xxxxxxxxx -o /hdfs_meta/fsimage.csv -p Delimited

发现依旧OOM，随后将该参数从5G调整到20G，并未解决该问题（尝试过去CM上修改HDFSClient的 Java Heap）

查看hdfs oiv命令的help发现了一个-t参数，使用临时目录缓存中间结果来生成oiv命令的解析结果，可以缓解内存的压力。

最终在oiv命令中带上-t参数，问题解决

hdfs oiv -i /hdfs_meta/fsimage_xxxxxxxxx -t /temp/dir -o /hdfs_meta/fsimage.csv -p Delimited

问题参考：

https://issues.apache.org/jira/browse/HDFS-6293

https://community.cloudera.com/t5/Community-Articles/How-to-read-fsimage/ta-p/248832

3

Fsimage文件字段注释

字段	注释
Path	HDFS路径
Replication	副本数
ModificationTime	最近修改时间
AccessTime	最近访问时间
PerferredBlockSize	block size
BlocksCount	块总数
FileSize	文件大小
NSQUOTA	名称配额
DSQUOTA	监控配额
Permission	文件权限
UserName	所属用户
GroupName	所属用户组

顺利解析出Fsimage文件后，下一步就是建个Hive表，然后上Spark愉快的进行集群元数据分析了！！！

点个“在看”表示朕

已阅