HDFS 空间分配（大小/已用/可用）

Posted 2023-04-18

【中文标题】HDFS 空间分配（大小/已用/可用）

【英文标题】：HDFS Space Assignment (Size / Used / Available)

【发布时间】：2017-04-02 07:02:35

【问题描述】：

我阅读了一些参考资料，但我仍然无法清楚地确定可用于在 HDFS 系统上存储文件的基本总大小是如何确定的。

如果我有一个运行 HDFS 服务的 1TB 磁盘，dfs 部分会在我添加文件时自然“增长”，还是默认分配给 DFS 的磁盘部分？

【参考方案1】：

是的，HDFS 的磁盘使用量会随着文件的添加而增长。 默认情况下，Datanodes 将尝试使用其存储目录dfs.datanode.data.dir 中的所有可用空间。

Datanode的配置容量是

Total Storage Capacity - Reserved Storage 

Reserved Storage 默认为 0B。如果您希望在存储上保留一些空间供非 HDFS 使用，请在数据节点的 hdfs-site.xml 中添加此属性

<property>
  <name>dfs.datanode.du.reserved</name>
  <value>107374182400</value> <!-- 100 GB reserved -->
  <description>Reserved space in bytes per volume. Always leave this much space free for non dfs use</description>
</property>

【讨论】：

谢谢。请您看看这个其他相关问题好吗？ ***.com/questions/43165646/…