HDFS oiv解析Fsimage OOM异常处理

Posted Eights做数据

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了HDFS oiv解析Fsimage OOM异常处理相关的知识,希望对你有一定的参考价值。

本篇文章大概1152字,阅读时间大约4分钟


本文记录hdfs oiv命令解析fsimage文件过程中的OOM异常处理解决方案

HDFS的Fsimage文件记录了集群的元数据信息,是进行集群健康度分析的基础。利用HDFS oiv命令可以解析fsimage文件,解析后的文件放入Hive中即可进行集群元数据的详细分析。


1
问题描述

运行以下命令,获取hdfs集群的fsimage文件,并使用oiv命令进行解析

#获取fsimage文件
hdfs dfsadmin -fetchImage /hdfs_meta

#
使用oiv命令将fsimage文件解析为csv文件
hdfs oiv -i /hdfs_meta/fsimage_xxxxxxxxx -o /hdfs_meta/fsimage.csv -p Delimited

异常信息

喜闻乐见的OOM


2
解决思路

解析fsimage文件出现OOM,初步考虑是HDFS Client的java heap设置小了,于是尝试在hdfs oiv命令前指定HADOOP_CLIENT_OPTS

HADOOP_CLIENT_OPTS='-Xmx5000m' hdfs oiv -i /hdfs_meta/fsimage_xxxxxxxxx -o /hdfs_meta/fsimage.csv -p Delimited

发现依旧OOM,随后将该参数从5G调整到20G,并未解决该问题(尝试过去CM上修改HDFSClient的 Java Heap)

查看hdfs oiv命令的help发现了一个-t参数,使用临时目录缓存中间结果来生成oiv命令的解析结果,可以缓解内存的压力。

最终在oiv命令中带上-t参数,问题解决

hdfs oiv -i /hdfs_meta/fsimage_xxxxxxxxx -t /temp/dir -o /hdfs_meta/fsimage.csv -p Delimited

问题参考:

https://issues.apache.org/jira/browse/HDFS-6293

https://community.cloudera.com/t5/Community-Articles/How-to-read-fsimage/ta-p/248832


3
Fsimage文件字段注释
字段
注释
Path

HDFS路径

Replication
副本数
ModificationTime
最近修改时间
AccessTime
最近访问时间
PerferredBlockSize
block size
BlocksCount
块总数
FileSize
文件大小
NSQUOTA
名称配额
DSQUOTA
监控配额
Permission
文件权限
UserName
所属用户
GroupName
所属用户组

顺利解析出Fsimage文件后,下一步就是建个Hive表,然后上Spark愉快的进行集群元数据分析了!!!

点个“在看”表示朕

已阅

以上是关于HDFS oiv解析Fsimage OOM异常处理的主要内容,如果未能解决你的问题,请参考以下文章

HDFS元数据管理:fsimage&edits

HDFS重要概念

HDFSNameNode 和 SecondaryNameNode 详解

Hadoop 查看Fsimage和Edits文件 命令

Hadoop FsImage中DSQUOTA和NSQUOTA列的含义是啥?

HDFS01