仅使用 Hadoop 2.6.0 在 4 节点集群上工作的主节点

Posted 2023-02-16

【中文标题】仅使用 Hadoop 2.6.0 在 4 节点集群上工作的主节点

【英文标题】：Only master node working on 4-node cluster using Hadoop 2.6.0

【发布时间】：2015-03-26 17:28:23

【问题描述】：

我正在尝试设置和使用 4 节点 Hadoop 集群。 设置似乎很顺利，因为一切都在主节点和从节点中运行。

Master：DataNode、ResourceManager、SecondaryNameNode、NameNode、NodeManager

从站：NodeManager、DataNode

此外，日志显示没有错误。然而，当我尝试运行我的代码时，它所花费的时间与我在单个节点上运行它所花费的时间大致相同。此外，任何从属节点上的 CPU 活动都不会增加。

slave 可以 ssh 到主节点，主节点正在监听正确的端口，...

对我如何追查问题有任何帮助吗？

谢谢！

操作系统：Ubuntu 14.04.2 Hadoop版本：2.6.0

我看过相关的问题，但对我没有帮助：

hadoop cluster is using only master node or all nodes

Hadoop use only master node for processing data

【问题讨论】：

您是否使用 Ambari 安装了 Hadoop 集群？

不，我没有。根据ambari.apache.org，他们不支持 64 位 Ubuntu 14。我无法更改操作系统。

【参考方案1】：

基本上你只有一个数据节点和两个节点管理器。与单节点集群相比，它的配置并不多。要检查发生了什么，您可以转到资源管理器 UI。默认情况下，它在端口 8088 上。