Hadoop：从节点未启动

Posted 2023-04-15

【中文标题】Hadoop：从节点未启动

【英文标题】：Hadoop: Slave nodes are not starting

【发布时间】：2013-02-23 22:31:27

【问题描述】：

我正在尝试在我的机器上设置一个伪分布式 Hadoop 集群。 环境细节： 主机操作系统：Windows 来宾操作系统：Ubuntu

Vm 创建了一个主设备和一个从设备。 我能够在单节点集群上成功运行 hadoop wordcount 但是当我尝试添加从属节点时，数据节点、作业跟踪器、名称节点和辅助名称节点在主节点中启动正常，但从节点中没有数据节点启动。 我可以 ping 从站并使用来自我的主站的 ssh 登录到从站。 /etc/host 文件在两个 vm 中都包含正确的条目 我正在使用 NAT 和仅主机适配器来获取 VM 的静态 ip

---

主节点 = zenda1

从节点 = Zenda

---

core-site.xml

<configuration>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/tmp</value>
</property>
<property>
     <name>fs.default.name</name>
     <value>hdfs://zenda1:9000</value>
</property>

ma​​pred-site.xml

 <configuration>
       <property>
               <name>mapred.job.tracker</name>
               <value>zenda1:9001</value>
       </property>
 </configuration>

hdfs-site.xml

  <configuration>
    <property>
      <name>dfs.replication</name>
      <value>2</value>
    </property>
  </configuration>

大师

  zenda1

从属

  zenda1
  Zenda

hadoop 文件夹位于我的主节点和从节点的不同位置（文件夹位置）。

【问题讨论】：

我也有同样的问题，CentOS 7所有配置都仔细检查过，情况和你一样，hosts文件没问题，我可以正常ssh不通过，我第一次安装后复制了vm，所以它们都在同一个位置，但是在运行 hadoop 时，我只得到一个节点，而不是 2 个。Hadoop 版本：2.7

【参考方案1】：

我找到了解决办法：slave机器中的数据节点dint start，因为我的master和slave中hadoop home的位置不同。当我将从节点的 hadoop home 复制到桌面时（这就是我的 master 节点的 hadoop home 所在的位置）。它开始工作正常。

【讨论】：

那就接受你自己的答案吧！它会给你一些分数；=)