Hadoop 集群设置:连接被拒绝错误
Posted
技术标签:
【中文标题】Hadoop 集群设置:连接被拒绝错误【英文标题】:Hadoop cluster setup: Connection refused error 【发布时间】:2020-02-11 07:53:01 【问题描述】:我已经安装了 hadoop 2.8.5 并完成了设置/配置。我正在尝试使用 cli 访问 HDFS 并在 DFS 顶部创建目录。 我收到错误:localhost:9000 failed on connection exception: java.net.ConnectException.
这是我的 core-site.xml:
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://0.0.0.0:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadooptmpdata</value>
</property>
这里是 hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoop/hdfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hadoop/hdfs/datanode</value>
</property>
这里是 mapreduce.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
这里是 yarn-site.xml
<configuration>
<property>
<name>mapreduceyarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
jps 命令的输出不显示 namenode 和 datanode
谢谢。
【问题讨论】:
【参考方案1】:fs.defaultFS 应该是 namenode 主机的外部 IP 或主机名,而不是 0.0.0.0
格式化namenode后好像没有运行start-dfs
脚本,然后观察启动错误日志
您不需要数据节点即可开始使用。专注于获得一个健康的名称节点。
另外,考虑使用 Apache Ambari 代替手动安装
【讨论】:
我确实事先运行了 start-dfs.sh。它同时启动namenode和datanode,没有任何错误。同样在给出 0.0.0.0 之前,我给了 localhost 但最终还是出现了同样的错误。我注意到虽然我的 namenode 和 datanode 启动了,但我无法连接到它们,因此 jps 没有显示它。 好的,那么你需要找到日志文件来解决问题 再一次,如果您希望其他机器连接,地址不应该是 localhost/127.0.0.1以上是关于Hadoop 集群设置:连接被拒绝错误的主要内容,如果未能解决你的问题,请参考以下文章
Namenode-HDFS 的“连接被拒绝”错误(Hadoop 问题)