hdfs + namenode + 编辑文件随着巨大的大小增加以及如何限制编辑文件的大小

Posted

技术标签:

【中文标题】hdfs + namenode + 编辑文件随着巨大的大小增加以及如何限制编辑文件的大小【英文标题】:hdfs + namenode + edit files increasing with huge size and how to limit the size of edit files 【发布时间】:2020-05-17 09:41:45 【问题描述】:

我们有 7 个数据节点机器的 HDP 集群

/hadoop/hdfs/namenode/current/

我们可以看到更多 1500 编辑文件 每个文件都在7M20M 左右,如下所示

7.8M    /hadoop/hdfs/namenode/current/edits_0000000002331008695-0000000002331071883
7.0M    /hadoop/hdfs/namenode/current/edits_0000000002331071884-0000000002331128452
7.8M    /hadoop/hdfs/namenode/current/edits_0000000002331128453-0000000002331189702
7.1M    /hadoop/hdfs/namenode/current/edits_0000000002331189703-0000000002331246584
11M     /hadoop/hdfs/namenode/current/edits_0000000002331246585-0000000002331323246
8.0M    /hadoop/hdfs/namenode/current/edits_0000000002331323247-0000000002331385595
7.7M    /hadoop/hdfs/namenode/current/edits_0000000002331385596-0000000002331445237
7.9M    /hadoop/hdfs/namenode/current/edits_0000000002331445238-0000000002331506718
9.1M    /hadoop/hdfs/namenode/current/edits_0000000002331506719-0000000002331573154
9.0M    /hadoop/hdfs/namenode/current/edits_0000000002331573155-0000000002331638086
7.8M    /hadoop/hdfs/namenode/current/edits_0000000002331638087-0000000002331697435
7.8M    /hadoop/hdfs/namenode/current/edits_0000000002331697436-0000000002331755881
8.0M    /hadoop/hdfs/namenode/current/edits_0000000002331755882-0000000002331814933
9.8M    /hadoop/hdfs/namenode/current/edits_0000000002331814934-0000000002331884369
11M     /hadoop/hdfs/namenode/current/edits_0000000002331884370-0000000002331955341
8.7M    /hadoop/hdfs/namenode/current/edits_0000000002331955342-0000000002332019335
7.8M    /hadoop/hdfs/namenode/current/edits_0000000002332019336-0000000002332074498

是否可以通过一些HDFS 配置来最小化文件大小? (或最小化编辑文件数量) 因为我们有小磁盘,现在磁盘是100%

/dev/sdb                   100G   100G     0 100% /hadoop/hdfs

【问题讨论】:

【参考方案1】:

您可以配置dfs.namenode.num.checkpoints.retaineddfs.namenode.num.extra.edits.retained属性控制大小 保存 NameNode 编辑目录的目录。

dfs.namenode.num.checkpoints.retained: 镜像检查点数量 保存在存储目录中的文件。所有编辑日志 从最旧的保留名称中恢复最新的命名空间所必需的 检查点也被保留。 dfs.namenode.num.extra.edits.retained:应该保留的额外事务数超出最低限度 NameNode 重启所必需的。这对审计很有用 目的,或用于可能已存在远程备用节点的 HA 设置 离线一段时间,需要更长的保留编辑积压 为了重新开始。

资源:https://docs.cloudera.com/HDPDocuments/HDP3/HDP-3.1.5/data-storage/content/properties_to_set_the_size_of_the_namenode_edits_directory.html

【讨论】:

最小值是多少? 其实我不知道,但尝试设置它,例如 50GB。它可以帮助你

以上是关于hdfs + namenode + 编辑文件随着巨大的大小增加以及如何限制编辑文件的大小的主要内容,如果未能解决你的问题,请参考以下文章

hadoop之hdfs安全模式

HDFS设计之namenode和datanode

HDFS学习进阶

HDFS的安全模式

Hadoop - HDFS Namenode 元数据 - FSImage

在 hadoop namenode 中读取编辑日志时出错