start-all.sh 无法在从节点上运行进程

Posted

技术标签:

【中文标题】start-all.sh 无法在从节点上运行进程【英文标题】:start-all.sh not working to run the process on slave node 【发布时间】:2014-03-13 11:57:06 【问题描述】:

我正在尝试在我的笔记本电脑中配置具有一个主从节点的多节点集群。当我从主节点运行 start-all.sh 时,所有守护进程都在主节点中运行,但 Datanode 和 tasktracker 未在从节点上启动。启用了密码较少的 ssh,我可以在没有 pwd 的情况下从我的 masternode 为 master 和 slave 执行 ssh,但是如果我尝试从 slave 节点执行 ssh master,它会要求 pwd。这是没有在从节点中启动守护进程的问题吗?我们是否需要在 master 和 slave 上都不需要密码 ssh?

来自从节点的 ssh 从节点不要求 pwd 只要求主节点。请给我一些解决方案,为什么我无法从主节点启动从节点中的进程?

【问题讨论】:

【参考方案1】:

你不需要从slave到master的无密码ssh,只需要从master到slave。

需要考虑的几点:

可以在从节点本地运行hadoop吗? 从节点是否包含在主节点的$HADOOP_CONF_DIR/slaves文件中? 你是否在master的/etc/hosts文件中添加了slave节点? slave的日志文件中是否有错误信息? 是否在两台机器的同一路径上安装了相同版本的 hadoop?

【讨论】:

您好,从属文件不是在 conf 目录下创建的。我已经创建了该文件并提到了从属主机名,问题已解决。非常感谢您的帮助。

以上是关于start-all.sh 无法在从节点上运行进程的主要内容,如果未能解决你的问题,请参考以下文章

启动hadoop怎么进入master

关于HADOOP用jps看进程,只能看到namenode,Jps跟Nodemanager,之前都能看,启动是用start-all.sh

hadoop 3.1.2 ./start-all.sh 错误,意外标记 `<' 附近的语法错误

设置单节点hadoop时没有namenode启动

在 ubuntu 12.04lts 上安装 hadoop 时出现 start-all.sh 错误

Hadoop常用命令总结