Hadoop JvmPauseMonitor

Posted 2023-02-16

【中文标题】Hadoop JvmPauseMonitor

【英文标题】：

【发布时间】：2016-08-04 19:34:02

【问题描述】：

最近遇到有趣的 Cloudera Hadoop 和 HDFS 场景，我们无法启动 NameNode 服务。

尝试重启 HDFS 服务时，我们无法成功重启集群中的 NameNode 服务。在查看日志后，我们没有观察到任何错误，但确实看到了一些与 JvmPauseMonitor 相关的条目...

org.apache.hadoop.util.JvmPauseMonitor：在 JVM 或主机（例如 GC）中检测到暂停：暂停大约 5015 毫秒

我们在/var/log/hadoop-hdfs/NAMENODE.log.out 中观察到这些条目，没有看到任何其他错误，包括/var/log/messages。

【参考方案1】：

检查您的 JAVA 堆大小

最终，我们能够确定我们遇到了未记录的 Java OOM 异常。

从性能的角度来看，作为 HDFS 中每 100 万块的一般规则，您应该配置至少 1GB 的 Java 堆大小。

在我们的例子中，解决方法很简单，只需要增加 NameNode 和辅助 NameNode 服务的 Java 堆大小并重新启动......因为我们已经增长到 150 万块，但只使用 Java 堆的默认 1GB 设置尺寸。

在将 Java Heap Size 增加到至少 2GB 并重新启动 HDFS 服务后，我们完全是绿色的。

干杯！