Apache Hadoop Windows 10 - Datanode、资源管理器和 Yarn 在启动时立即关闭

Posted 2023-03-17

【中文标题】Apache Hadoop Windows 10 - Datanode、资源管理器和 Yarn 在启动时立即关闭

【英文标题】：Apache Hadoop Windows 10 - Datanode, Resource Manager and Yarn immediately shutdown on startup

【发布时间】：2019-08-16 10:25:06

【问题描述】：

我已按照教程为 Windows 设置 Apache Hadoop，可以在 here 找到该教程。我现在遇到了 Datanode、资源管理器和 Yarn cmd 窗口的问题，显示打开后所有 3 秒都关闭，只有 Namenode 继续运行。这是我到目前为止尝试过的过程：

以管理员身份运行 CMD 使用命令start-all.cmd（这会打开 Namenode、Datanode、Yarn 和 Resourcemanager cmd 窗口） Datanode、Yarn 和资源管理器几乎都在启动后立即发出关闭消息

SHUTDOWN_MSG: Shutting down ResourceManager at thood-alienware/...

SHUTDOWN_MSG: Shutting down NodeManager at thood-alienware/...

SHUTDOWN_MSG: Shutting down DataNode at thood-alienware/...

有趣的是，只有 Datanode 窗口给出错误作为关闭的原因：

2019-03-26 00:07:03,382 INFO util.ExitUtil: Exiting with status 1: org.apache.hadoop.util.DiskChecker$DiskErrorException: Too many failed volumes - current valid volumes: 0, volumes configured: 1, volumes failed: 1, volume failures tolerated: 0

我知道我可以编辑允许的故障数量，但我想实际修复导致此磁盘故障的任何原因。当我打开 datanode 目录时，它是一个空文件夹，但是我的 namenode 目录中存在从“start-all.cmd”创建的文件。以前有人在 Windows 上使用过 Hadoop 吗？我完全不知道从哪里开始，因为大多数在线帮助都是针对 Linux 系统的。

【参考方案1】：

你有没有在HADOOP目录下得到以下bin文件

https://github.com/s911415/apache-hadoop-3.1.0-winutils