master节点如何启动hadoop集群中的所有进程？

Posted 2023-02-16

【中文标题】master节点如何启动hadoop集群中的所有进程？

【英文标题】：How does master node start all the process in a hadoop cluster?

【发布时间】：2017-03-18 10:59:05

【问题描述】：

我已经使用普通的 Hadoop 建立了 5 个虚拟机的 Hadoop 集群。集群详情如下：

192.168.1.100 - 配置为运行 NameNode 和 SNN 守护程序 192.168.1.101 - 配置为运行 ResourceManager 守护进程。 192.168.1.102 - 配置为运行 DataNode 和 NodeManager 守护进程。 192.168.1.103 - 配置为运行 DataNode 和 NodeManager 守护程序。 192.168.1.104 - 配置为运行 DataNode 和 NodeManager 守护程序。

我在每个虚拟服务器中都保存了主从文件。

大师：

192.168.1.100 192.168.1.101

从属文件：

192.168.1.102 192.168.1.103 192.168.1.104

现在当我从NameNode 机器运行start-all.sh 命令时，它如何能够启动所有守护进程？我无法理解？没有安装适配器（或者我不知道），所有机器中都存在简单的 hadoop jar，所以NameNode 机器如何能够启动所有机器（虚拟服务器）中的所有守护进程。

谁能帮我理解这个？

【参考方案1】：

namenode 通过 SSH 连接到从站并运行从站服务。 这就是为什么您需要在从属服务器上的 ~/.ssh/authorized_keys 中的公共 ssh 密钥，以便为运行 Hadoop 名称节点的用户提供其私有对应项。

【讨论】：

非常感谢您的信息；因此 Namenode 通过 ssh 连接到从属节点并执行命令以运行从属进程。这种理解正确吗？

@CuriousMind 没错，就是这样。这就是为什么您通过 ENV 变量在 hadoop_env.sh 中放置某些选项（该文件来自从属服务器）。