为啥hadoop没有将数据放在hdfs-site.xml中指定的目录中

Posted 2023-02-23

【中文标题】为啥hadoop没有将数据放在hdfs-site.xml中指定的目录中

【英文标题】：why is hadoop not placing the data in the directory specified in hdfs-site.xml为什么hadoop没有将数据放在hdfs-site.xml中指定的目录中

【发布时间】：2013-09-13 19:41:37

【问题描述】：

我已经使用 michael noll 教程 (http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/) 在多节点集群上配置了 hadoop。其中如何首先在各个节点上配置 hadoop，然后再连接它们。

我真正想要的是 hadoop 应该将数据放在 hdfs-site.xml 中指定 hadoop.data.dir 参数的目录中。

hadoop.data.dir /djhadoop/hadoop 数据目录 数据目录。

但它仍然将数据块放置在 core-site.xml 中给出的 tmp 目录中指定的目录中：-

hadoop.tmp.dir /djhadoop/hadoop-tmp

为什么hadoop不使用hdfs-site.xml文件中指定的数据目录，而是使用core-site.xml中指定的目录？

【参考方案1】：

IIRC，属性是 dfs.data.dir 而不是 hadoop.data.dir。还要确保您已保存更改并重新启动守护程序以冻结修改。

【讨论】：

我对 hdfs-site.xml 中的 mapred.system.dir 有同样的问题，我想为 mapred 文件设置目录。你知道吗？

应该在 mapred-site.xml

我知道它在 mapred-site.xml 中，但我在其中指定的目录也没有用于存储与 mapred 相关的文件。格式是否像 hadoop.0.20 中 hadoop.name.dir 中的 dfs.name.dir 那样改变了？

你给出的路径是什么？

对不起，我从未见过 hadoop.name.dir。