在哪个节点上编辑 hadoop .xml 文件？

Posted 2023-04-15

【中文标题】在哪个节点上编辑 hadoop .xml 文件？

【英文标题】：Which node to edit hadoop .xml files on?

【发布时间】：2017-12-12 19:43:55

【问题描述】：

在编辑hadoop.xml 配置文件（例如hdfs-site.xml）时，hadoop 集群的哪个节点应该是用于编辑文件的节点？ IE。有许多节点的集群，所有节点都有一个包含 .xml 和 .properties 文件的 hadoop 文件夹，应该编辑哪些文件“集”以进行配置更改？看docs无法判断。

例如。我正在尝试将hadoop 配置为在找到here 的配置更改之后使用hue，其中需要向hdfs-site.xml 添加行，但该文件存在于集群的所有节点上。我需要为每个节点手动编辑吗？它是否取决于节点是否正在运行某个服务（例如，只需要更改运行资源管理器服务的节点上的配置文件）？

不要经常使用hadoop，因此我们将不胜感激。谢谢。

完全披露（澄清）：我使用的是hadoop 的商业版本，名为mapr。

【参考方案1】：

此文件存在于集群的所有节点上。我需要为每个节点手动编辑吗？

简短的回答。是的，但请参阅答案的底部。

如果您正在设置 Hue，那么您实际上只需要更改 Hue 服务器上的值。在大多数情况下，所有其他节点应该已经定义了您配置 Hue 的设置。

那些包括设置

HDFS（或 MapR-FS） 纱线 蜂巢/黑斑羚 HBase Oozie

仍然不明白这是如何在表面下工作的

Hadoop 及其组件以分布式方式运行。每个主机上都有读取这些文件的客户端。如果您在给定的机器上没有 Application Master 或 ResourceManager，它显然不需要 yarn-site.xml 或 mapred-site.xml ......类似地，Hive 和 Impala 的 hive-site.xml。 ..真的就这么简单

使用名为 mapr 的商业版 hadoop

没有使用过 MapR，但如果它不提供 GUI 来同步配置，我会感到非常惊讶。 Hortonworks 使用 Apache Ambari； Cloudera 使用 Cloudera 管理器。

【参考方案2】：

认为已经找到答案（来自另一个 post 的 cmets 中的用户 ProfVersaggi）。看来必须将文件更改复制到集群中的所有节点才能使更改生效。

这回答了我最初的问题，但仍然不明白这在表面之下是如何工作的，仍然希望得到任何解释。