OutOfMemory排查

Posted 2020-10-08

1.出现的情景：第一天测试，tps100左右，第二天测试tps5左右，平均响应时间很大。查看监控发现内存很高，CPU也70%左右。确认代码环境都没有变动。查看程序日志，发现报错，显示

Caused by: java.lang.OutOfMemoryError: GC overhead limit exceeded，查看tomcat的JVM配置，为3G，内存监控为3G，爆满。Jprofile显示char[]占用大量内存

2.排查具体class

查询原因，网上显示：

1、内存泄露，对象已经死了，无法通过垃圾收集器进行自动回收；

2、内存溢出，内存中的对象都还必须存活着，这说明Java堆分配空间不足，检查堆设置大小（-Xmx与-Xms），检查代码是否存在对象生命周期太长、持有状态时间过长的情况。

方法：

想在泄漏未发生前，取堆转储文件分析， 通过jvm参数-XX:+HeapDumpOnOutOfMemoryError（XX:+HeapDumpOnCtrlBreak不知道为什么tomcat启动不了）可以让JVM在出现内存溢出是Dump出当前的内存转储快照。

当然也可以通过用jmap生产dump文件。windows通过任务管理器查看tomcat的进程pid，linux用ps命令查看进程pid，然后用jmap命令（Java5：jmap -heap:format=b <pid>；Java6：jmap -dump:format=b,file=HeapDump.bin <pid>）

 

在tomcat中设置jvm参数

linux系统中

1.打开/tomcat_home/bin/catalina.sh文件 

2.加上：JAVA_OPTS="$JAVA_OPTS -server -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=D:\heapdump"

如下图位置：

注：其中不设-XX:HeapDumpPath时，dump出的文件在/tomcat_home/bin目录下

Windows系统中

1.打开/tomcat_home/bin/catalina.bat文件

2.加上：set JAVA_OPTS=%JAVA_OPTS% -server -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=D:\heapdump

如下图位置：

 

分析dump出来的内存快照文件

可以使用分析工具进行分析，如：

 

Eclipse的MAT

下载地址：http://www.eclipse.org/mat/downloads.php

说明文档：http://www.vogella.com/articles/EclipseMemoryAnalyser/article.html#example_project

 

注意：解析过大的HeapDump可能导致Eclipse抛出OutOfMemory的错误。这时你需要手动调整Eclipse的缓存大小，可以参考官网给出的处理方式（原文连接）

 

Alternatively, edit the MemoryAnalyzer.ini to contain:

-vmargs
-Xmx2g
-XX:-UseGCOverheadLimit

Eclipse插件版打不开的朋友可以试试 RPC版的MAT （我的232m的dump文件也打不开，难道非得用64bit的机器吗？）：RPC版MAT下载地址 。

 

JProfile