Hadoop JobTracker 内存使用量增加v

Posted 2023-04-18

【中文标题】Hadoop JobTracker 内存使用量增加v

【英文标题】：Hadoop JobTracker memory usage increasingv

【发布时间】：2014-02-11 04:05:50

【问题描述】：

当我打开 jobtrackerhost:50030/jobtracker.jsp

我可以看到堆大小如下： 集群摘要（堆大小为 1.17 GB/7.99 GB）

它继续增加。 3-5天后长到高峰。

我们有 2 个 Hadoop 集群。 在集群 A 上，堆大小在峰值附近停止增加。 在集群 B 上，堆大小继续增加，3-5 天后，jobtracker 关闭。 （过程消失了）

现在我真的很想知道为什么堆大小继续增加？是正常还是有问题？

谢谢， 新松

【问题讨论】：

是否有作业正在运行？请提供集群详细信息（#machines、每台机器的 RAM、每台机器的#cores）和 $HADOOP_HOME/conf 中存在的 mapred-site.xml 文件

嗨@vefthym，有工作在持续运行，但大多数会在几分钟~1小时内结束，hadoop中有10台机器，RAM为16G，CPU为4核，

【参考方案1】：

@vefthym，我认为 mapred-site.xml 文件不完整，因为 hadoop 集群是由 Cloudera Manager 管理的。

这是mapred-site.xml中的内容

<?xml version="1.0" encoding="UTF-8"?>

<!--Autogenerated by Cloudera CM on 2013-07-01T01:39:46.361Z-->
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://xxxx.com:8020</value>
  </property>
  <property>
    <name>io.file.buffer.size</name>
    <value>65536</value>
  </property>
  <property>
    <name>io.compression.codecs</name>
    <value>org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec,org.apache.hadoop.io.compress.DeflateCodec,org.apache.hadoop.io.compress.SnappyCodec,org.apache.hadoop.io.compress.Lz4Codec</value>
  </property>
  <property>
    <name>hadoop.security.authentication</name>
    <value>simple</value>
  </property>
  <property>
    <name>hadoop.rpc.protection</name>
    <value>authentication</value>
  </property>
  <property>
    <name>hadoop.security.auth_to_local</name>
    <value>DEFAULT</value>
  </property>
</configuration>