为Hadoop Damenons选择端口号

Posted 2021-03-26

我是Hadoop的新手，并一直在网上寻找建立多节点集群的参考。在提到了许多不同的网站和官方文档（对于像我这样的新手来说太复杂了）之后，我一直在使用this blog作为指南。

但是，我只是无法理解配置文件中如何确定端口号？我的意思是我审阅了“Haoop In Action”，之前的链接和其他网站，每个人似乎都在为datanode，jobtracker等使用不同的值。

我从官方文档中引用了Common User的Web UI，发现了这个：

默认的Hadoop端口如下：

Daemon  Default Port    Configuration Parameter
HDFS    Namenode    50070   dfs.http.address
Datanodes   50075   dfs.datanode.http.address
Secondarynamenode   50090   dfs.secondary.http.address
Backup/Checkpoint node? 50105   dfs.backup.http.address
MR  Jobracker   50030   mapred.job.tracker.http.address
Tasktrackers    50060   mapred.task.tracker.http.address

但是，我遇到了fs.default.name等9000的值，甚至54310的值。这甚至是正确的吗？可以使用任何值吗？我最早需要帮助。谢谢 ：）

答案

默认配置属性在core-default，hdfs-default和mapred-default中指定。可以更改默认端口号，但必须在配置文件中更改相应的属性。

另一答案

请查找服务及其各自的端口号：

NameNode：50070

DataNode：50075

Secondary NameNode：50070

职位追踪：50030

Secondary NameNode：50090

任务追踪：50030

备份/检查点节点：50105

Oozie：11000

纱线资源经理：8088

纱线节点管理器：8042

休：8888

HBase Region Server：60030

HBase Master：60010

Spark历史服务器：18088