hadoop 格式化目录 不正确

Posted 2023-05-01

hadoop 格式化目录 不正确
etc/hadoop/hdfs-site.xml文件如下：
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/home/hadoop/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/hadoop/hadoop/dfs/data</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///home/hadoop/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///home/hadoop/hadoop/dfs/data</value>
</property>
</configuration>

使用hadoop namenode -format时，总是提示/tmp/hadoop-hadoop/dfs/name.
不想设置在/tmp下面，这样每次重启机器，数据都没有了。
hadoop版本2.6.0，有大神是什么情况不，求帮忙？
2016-08-04 22:30:50,918 INFO [main] namenode.NNConf (NNConf.java:<init>(62)) - ACLs enabled? false
2016-08-04 22:30:50,922 INFO [main] namenode.NNConf (NNConf.java:<init>(66)) - XAttrs enabled? true
2016-08-04 22:30:50,923 INFO [main] namenode.NNConf (NNConf.java:<init>(74)) - Maximum size of an xattr: 16384
Re-format filesystem in Storage Directory /tmp/hadoop-hadoop/dfs/name ? (Y or N)

参考技术A dfs.namenode.name.dir和dfs.datanode.data.dir的“file://”去掉试试呢追问

去掉试过，还是提示/tmp下面的路径。
这个路径在start-dfs.sh时，能识别。
在hadoop namenode -format时，只会提示/tmp/hadoop-hadoop/dfs/name

追答

你有看过core-site.xml里面的配置么

追问

fs.defaultFShdfs://master:9000
hadoop.tmp.dir/home/hadoop/hadoop/tmp

追答

hadoop.tmp.dir/home/hadoop/hadoop/tmp

这个的/name后面是不是少了个" >"

追问

hadoop.tmp.dir
/home/hadoop/hadoop/tmp

之前百度追问不允许过多内容，调整格式漏掉了“>”,我主机上是有的。
算了，我虚拟机重建一个。其他几个虚拟机是正常的。

本回答被提问者和网友采纳

“hadoop namenode -format”格式错误的目录

【中文标题】“hadoop namenode -format”格式错误的目录

【英文标题】："hadoop namenode -format" formats wrong directory

【发布时间】：2013-02-06 13:15:44

【问题描述】：

我正在尝试在 CentOS 6.3 上安装 Hadoop 1.1.2.21

我已经在 /etc/hadoop/conf/hdfs-site.xml 文件中配置了 dfs.name.dir

<name>dfs.name.dir</name>
<value>/mnt/ext/hadoop/hdfs/namenode</value>

但是当我运行“hadoop namenode -format”命令时，它会格式化 /tmp/hadoop-hadoop/dfs/name。

我错过了什么？

【参考方案1】：

我遇到了这个问题并解决了。所以更新这个答案。 确保您的环境变量HADOOP_CONF_DIR 指向可以找到所有用于配置的xml 文件的目录。它为我解决了。

【参考方案2】：

它可能会从hdfs-default.xml 中选择路径/tmp/hadoop-hadoop/dfs/name。不知道为什么不采用 hdfs-site.xml 的值。 dfs.name.dir 是否在 hdfs-default.xml 中标记为 final？

【参考方案3】：

检查某个 Hadoop 进程是否已经在后台运行。如果您中止了先前的进程并且它没有被杀死并且已成为 ZOMBIE 进程，则会发生这种情况 如果是这种情况，请终止该进程，然后再次尝试格式化系统

也可以查看目录的权限。

尝试为目录提供不同的位置，如果它反映了

【参考方案4】：

请不要设置 HADOOP_CONF_DIR。您可以检查 .bashrc 文件并将其删除。