将 Hadoop 块大小更改为小于最小块大小

Posted 2023-04-18

【中文标题】将 Hadoop 块大小更改为小于最小块大小

【英文标题】：Changing Hadoop Block Size lower than minimum block size

【发布时间】：2016-03-29 21:38:21

【问题描述】：

如何将 Hadoop 块大小更改为低于默认最小块大小。

本手册页 (https://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml) 指出默认情况下最小块大小或 dfs.namenode.fs-limits.min-block-size 设置为 1048576 (1 MB)。但是，当我在hdfs-site.xml 中将其更改为低于该值的任何值时，例如 100 KB，同时我将dfs.blocksize 更改为 200 KB（仍然大于修改后的最小块大小），我仍然收到错误消息，指出 dfs.blocksize 不能低于 1048576 的最小块大小。

另外，我使用的是 Hadoop 2.7.1，以防万一。

【参考方案1】：

您应该在hdfs-site.xml 中添加属性，而不是在hdfs-default.xml 中。添加属性并重启namenode再试一次。

【讨论】：

我的错，我的意思是说我在 hdfs-site.xml 上尝试过，而不是 hdfs-default.xml。

你试过重启hadoop服务然后运行你的工作吗？

我尝试重新启动服务，它仍然显示 dfs.blocksize