Hadoop名称节点找不到数据节点

Posted 2023-02-16

【中文标题】Hadoop名称节点找不到数据节点

【英文标题】：Hadoop namenode cannot find datanode

【发布时间】：2014-11-04 15:51:02

【问题描述】：

环境：2 Ubuntu 14.04 VMs在VMware工作站下运行。

我已经成功建立了一个单节点集群，现在我正在尝试建立一个完全分布式的集群，其中一个 namenode 运行在 master 上，一个 datanode 运行在 slave 上。

运行 start-dfs.sh 和 start-yarn.sh 后，我可以看到主从机器上所有需要的进程。（namenode，resourcemanager，secondarynamenode on master and datanode，nodemanager on slave。

但是我在 master:50070 (namenode webapp) 上找不到我的数据节点。 来自从站的telnet master 9000 回复连接成功。

我被这一天困住了。

有人可以帮帮我吗？

【问题讨论】：

检查数据节点的日志。它应该解释为什么它不起作用。你也把conf/slaves文件上的master放了吗？

@vefthym 日志显示我的数据节点在连接到端口 9000 上的主节点时出现问题。

【参考方案1】：

在 mapred-site.xml 中添加一个属性

<property>
  <name>mapred.job.tracker</name>
  <value>master:9001</value>
</property>

不管它是否有效。