Hadoop 集群设置:连接被拒绝错误

Posted

技术标签:

【中文标题】Hadoop 集群设置:连接被拒绝错误【英文标题】:Hadoop cluster setup: Connection refused error 【发布时间】:2020-02-11 07:53:01 【问题描述】:

我已经安装了 hadoop 2.8.5 并完成了设置/配置。我正在尝试使用 cli 访问 HDFS 并在 DFS 顶部创建目录。 我收到错误:localhost:9000 failed on connection exception: java.net.ConnectException.

这是我的 core-site.xml:

<configuration>
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://0.0.0.0:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/home/hadoop/hadooptmpdata</value>
</property>

这里是 hdfs-site.xml

<configuration>
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>/home/hadoop/hdfs/namenode</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>/home/hadoop/hdfs/datanode</value>
</property>

这里是 mapreduce.xml

<configuration>
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

这里是 yarn-site.xml

<configuration>


<property>
    <name>mapreduceyarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

jps 命令的输出不显示 namenode 和 datanode

谢谢。

【问题讨论】:

【参考方案1】:

fs.defaultFS 应该是 namenode 主机的外部 IP 或主机名,而不是 0.0.0.0

格式化namenode后好像没有运行start-dfs脚本,然后观察启动错误日志

您不需要数据节点即可开始使用。专注于获得一个健康的名称节点。

另外,考虑使用 Apache Ambari 代替手动安装

【讨论】:

我确实事先运行了 start-dfs.sh。它同时启动namenode和datanode,没有任何错误。同样在给出 0.0.0.0 之前,我给了 localhost 但最终还是出现了同样的错误。我注意到虽然我的 namenode 和 datanode 启动了,但我无法连接到它们,因此 jps 没有显示它。 好的,那么你需要找到日志文件来解决问题 再一次,如果您希望其他机器连接,地址不应该是 localhost/127.0.0.1

以上是关于Hadoop 集群设置:连接被拒绝错误的主要内容,如果未能解决你的问题,请参考以下文章

Hadoop错误-“连接被拒绝”?

Namenode-HDFS 的“连接被拒绝”错误(Hadoop 问题)

hadoop 连接请求被拒绝1

在Ubuntu下使用Eclispe连接hadoop时拒绝链接解决方式总结

Kubernetes 中工作节点上的连接被拒绝错误

ssh 连接到主机端口 22 连接被拒绝