哪些进程需要访问 core-site.xml 和 hdfs-site.xml

Posted 2023-02-16

【中文标题】哪些进程需要访问 core-site.xml 和 hdfs-site.xml

【英文标题】：Which processes need access to core-site.xml and hdfs-site.xml

【发布时间】：2018-07-30 16:06:38

【问题描述】：

core-site.xml 文件通知 Hadoop 守护进程 NameNode 在哪里运行 集群。它包含 Hadoop Core 的配置设置 例如 HDFS 和 MapReduce 通用的 I/O 设置。

hdfs-site.xml 文件包含 HDFS 的配置设置 守护进程； NameNode、Secondary NameNode 和 DataNode。 在这里，我们可以配置 hdfs-site.xml 来指定默认块 HDFS 上的复制和权限检查。实际人数 也可以在创建文件时指定复制。这 如果创建时没有指定复制，则使用默认值。

我希望了解哪些进程 [Namenode、Datanode、HDFS 客户端] 需要访问哪些配置文件？

Namenode：我认为它只需要hdfs-site.xml，因为它不需要知道自己的位置。 Datanode：我认为它需要同时访问core-site.xml（定位名称节点）和hdfs-site.xml（用于各种设置）？ HDFS 客户端：我认为它需要访问core-site.xml（定位名称节点）和hdfs-site.xml（用于各种设置）？

准确吗？

【参考方案1】：

客户端和服务器进程需要访问这两个文件

如果你使用HDFS名字服务和高可用的Namenodes，那么两个Namenodes需要互相找到

【参考方案2】：

一些cmets：

core-site.xmlhdfs-site.xml这两个是外部使用的吗 访问集群/WEB HDFS API的程序（例如NiFi）

边缘节点需要同时访问集群

Ambari 将与所有其他人一起管理这两项工作

您列出的三个都需要访问权限才能运行集群，并至少设置基本设置，例如代理设置和集群访问权限