maven怎么连接hadoop集群

Posted 2023-04-20

使用Maven连接Hadoop集群的步骤如下：1.安装Maven和Hadoop；2.在Maven应用配置文件中添加HDFS依赖；3.启动Hadoop并配置HDFS；4.修改Maven的配置文件，指定HDFS的连接地址；5.启动Maven应用，完成连接。 参考技术A 要连接Maven到Hadoop集群，可以使用Apache Maven Hadoop依赖库。该依赖库可以帮助开发者建立客户端和Hadoop集群之间的连接，并使用Hadoop集群上的数据。

Hadoop 集群设置：连接被拒绝错误

【中文标题】Hadoop 集群设置：连接被拒绝错误

【英文标题】：Hadoop cluster setup: Connection refused error

【发布时间】：2020-02-11 07:53:01

【问题描述】：

我已经安装了 hadoop 2.8.5 并完成了设置/配置。我正在尝试使用 cli 访问 HDFS 并在 DFS 顶部创建目录。 我收到错误：localhost:9000 failed on connection exception: java.net.ConnectException.

这是我的 core-site.xml：

<configuration>
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://0.0.0.0:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/home/hadoop/hadooptmpdata</value>
</property>

这里是 hdfs-site.xml

<configuration>
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>/home/hadoop/hdfs/namenode</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>/home/hadoop/hdfs/datanode</value>
</property>

这里是 mapreduce.xml

<configuration>
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

这里是 yarn-site.xml

<configuration>


<property>
    <name>mapreduceyarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

jps 命令的输出不显示 namenode 和 datanode

谢谢。

【参考方案1】：

fs.defaultFS 应该是 namenode 主机的外部 IP 或主机名，而不是 0.0.0.0

格式化namenode后好像没有运行start-dfs脚本，然后观察启动错误日志

您不需要数据节点即可开始使用。专注于获得一个健康的名称节点。

另外，考虑使用 Apache Ambari 代替手动安装

【讨论】：

我确实事先运行了 start-dfs.sh。它同时启动namenode和datanode，没有任何错误。同样在给出 0.0.0.0 之前，我给了 localhost 但最终还是出现了同样的错误。我注意到虽然我的 namenode 和 datanode 启动了，但我无法连接到它们，因此 jps 没有显示它。

好的，那么你需要找到日志文件来解决问题

再一次，如果您希望其他机器连接，地址不应该是 localhost/127.0.0.1