Java 内存溢出分析

Posted 2020-11-01 沐小悠

原文地址：Java 内存溢出分析

博客地址：http://www.moonxy.com

一、前言

Java 的 JVM 的内存一般可分为 3 个区：堆（heap）、栈（stack）和方法区（method）。

1.1 堆区

1）存储的全部是对象，每个对象都包含一个与之对应的 Class 的信息，Class 的目的是得到操作指令；

2）JVM 只有一个堆区（heap）被所有线程共享，堆中不存放基本类型和对象引用，只存放对象本身。

1.2 栈区

1）每个线程包含一个栈区，栈中只保存基础数据类型的对象和自定义对象的引用（不是对象），对象都存放在堆区中；

2）每个栈中的数据(原始类型和对象引用)都是私有的，其他栈不能访问；

3）栈分为3个部分：基本类型变量区、执行环境上下文、操作指令区（存放操作指令）。

1.3 方法区

1）又叫静态区或永久代，跟堆一样，被所有的线程共享。方法区包含所有的 Class 和 static 变量；

2）方法区中包含的都是在整个程序中永远唯一的元素，如 Class，static 变量；

3）运行时常量池都分配在 Java 虚拟机的方法区之中，但是从 JDK 1.7 的 HotSpot 虚拟机开始中，已经把原本放在永久代的字符串常量池移出了。

二、内存溢出分析

以下代码验证，建议使用 JDK 1.6，因为从 JDK 1.7 开始，HotSpot 虚拟机改进了很多，特别是方法区（永久代）。

2.1 Java 堆溢出

Java堆是用于存储对象实例的，因此，只要我们不断创建对象，并且保证对象不被垃圾回收机制清除，那么当堆中对象的大小超过了最大堆的容量限制，就会出现堆内存溢出。

堆溢出常见的异常是：java.lang.OutOfMemoryError: Java heap space。

下面这段代码，将Java堆的大小设置为 20MB，并且不可扩展（即将堆的最小值 -Xms 参数和最大值 -Xmx 参数设置为相等的 20MB，来避免堆自动扩展）；通过参数 -XX:+HeapDumpOnOutOfMemoryError 可以让虚拟机在出现内存溢出异常时生成当前内存堆的快照，以便事后进行分析；-verbose:gc 的作用是在虚拟机发生内存回收时在输出设备显示信息。

package com.java.error;

import java.util.ArrayList;
import java.util.List;

/**
 * VM Args:-verbose:gc -Xms20m -Xmx20m -XX:+HeapDumpOnOutOfMemoryError
 * Error:java.lang.OutOfMemoryError: Java heap space
 * @author moonxy
 *
 */
public class HeapOOM {
    
    public static void main(String[] args) {
        
        List<HeapOOM> list = new ArrayList<HeapOOM>();
        
        while(true) {
            list.add(new HeapOOM());
        }
    }
}

运行后显示如下：

[GC (Allocation Failure)  5380K->3745K(19968K), 0.0042158 secs]
[GC (Allocation Failure)  9287K->9710K(19968K), 0.0058399 secs]
[Full GC (Ergonomics)  9710K->7589K(19968K), 0.1200134 secs]
[Full GC (Ergonomics)  16387K->12869K(19968K), 0.1112792 secs]
[Full GC (Ergonomics)  16428K->16382K(19968K), 0.1711686 secs]
[Full GC (Allocation Failure)  16382K->16370K(19968K), 0.1371103 secs]
java.lang.OutOfMemoryError: Java heap space
Dumping heap to java_pid1204.hprof ...
Heap dump file created [28024534 bytes in 0.077 secs]
Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
	at java.util.Arrays.copyOf(Arrays.java:3210)
	at java.util.Arrays.copyOf(Arrays.java:3181)
	at java.util.ArrayList.grow(ArrayList.java:261)
	at java.util.ArrayList.ensureExplicitCapacity(ArrayList.java:235)
	at java.util.ArrayList.ensureCapacityInternal(ArrayList.java:227)
	at java.util.ArrayList.add(ArrayList.java:458)
	at com.java.error.OutOfMemoryJavaHeapSpaceTest.main(OutOfMemoryJavaHeapSpaceTest.java:19)

控制台打印了OutOfMemoryError，并且提示是Java heap发生的内存溢出，同时生成了dump文件。对于Java堆溢出，一般通过内存映像分析工具（如Eclipse Memory Analyzer）对dump文件进行堆快照分析，确认内存中的对象是不是必要的：

如果对象不是必要的，那就属于内存泄漏，需要分析为什么对象没有被回收；

如果对象确实有必要继续存在，那就属于内存溢出，需要通过将堆的大小调高（-Xms 和 -Xmx）来避免内存溢出。

此处比较一下内存泄漏和内存溢出这两个概念，两者通常一起说，但是两个却是不同的概念，彼此之间又有联系，如下：

内存泄漏 memory leak：是指程序在申请内存后，无法释放已经申请的内存空间，一次内存泄露似乎不会有大的影响，但内存泄漏堆积后的后果就是内存溢出；

内存溢出 out of memory：是指程序申请内存后，没有足够的内存供申请者使用或将 long 类型的数据存储到 int 类型的存储空间时，就会出现 OOM 错误。

2.2 虚拟机栈和本地方法栈溢出

由于HotSpot虚拟机不区分虚拟机栈和本地方法栈，因此，对于 HotSpot 来说，-Xoss参数（设置本地方法栈大小）是无效的，栈容量只由 -Xss 设置。

在Java虚拟机规范中，这个区域有两种异常情况：

如果线程运行时的栈帧的总大小超过虚拟机限制的大小，会抛出 StackOverflowError，这一点通常发生在递归运行时，栈溢出容易出现：java.lang.StackOverflowError；

如果虚拟机栈设置为可以动态扩展，并且在扩展时无法申请到足够内存，则会抛出 OutOfMemoryError，此时容易出现：java.lang.OutOfMemoryError: unable to create native thread。

StackOverflowError

/**
 * VM Args：-Xss128k
 * Error:java.lang.StackOverflowError
 * @author moonxy
 */
public class JavaVMStackSOF {

    private int stackLength = 1;

    public void stackLeak() {
        stackLength++;
        stackLeak();
    }

    public static void main(String[] args) throws Throwable {
        JavaVMStackSOF oom = new JavaVMStackSOF();
        try {
            oom.stackLeak();
        } catch (Throwable e) {
            System.out.println("stack length:" + oom.stackLength);
            throw e;
        }
    }
}

运行后显示如下：

994
Exception in thread "main" java.lang.StackOverflowError
	at com.java.error.StackOverflowTest.StackOver(StackOverflowTest.java:15)
	at com.java.error.StackOverflowTest.StackOver(StackOverflowTest.java:16)
	at com.java.error.StackOverflowTest.StackOver(StackOverflowTest.java:16)
	at com.java.error.StackOverflowTest.StackOver(StackOverflowTest.java:16)
	at com.java.error.StackOverflowTest.StackOver(StackOverflowTest.java:16)
　　　　　……

OutOfMemoryError

不建议执行如下验证，容易发生系统假死，因为在 Windows 平台的虚拟机中，Java 线程是映射到操作系统的内核线程中的。

/**
 * VM Args:-verbose:gc -Xss2m
 * Error:java.lang.OutOfMemoryError: unable to create native thread
 * @author moonxy
 *
 */
public class JavaVMStackOOM {
    
    private void dontStop() {
        while(true) {
            
        }
    }
    
    public void stackLeakByThread() {
        while(true) {
            Thread thread = new Thread(new Runnable(){
                @Override
                public void run() {
                    dontStop();
                }
            });
            thread.start();
        }
    }
    
    public static void main(String[] args) {
        
        JavaVMStackOOM oom = new JavaVMStackOOM();
        oom.stackLeakByThread();
    }
}

运行后显示如下：

java.lang.OutOfMemoryError: unable to create new native thread

线程需要消耗栈容量，而操作系统分配给每个进程的内存是有限制的。考虑如下场景：系统总内存 6G，JVM分配了 2G 内存，其中堆内存分配了 1G，方法区（永久代）分配 512M，忽略其他较小的内存分配，则剩余分配给虚拟机栈和本地方法栈的内存就只有512M，很有可能没有足够的可用内存创建很多的线程。就有可能出现 java.lang.OutOfMemoryError: unable to create new native thread。如果是这种情况，考虑减小堆内存大小或适当减少每个线程的栈分配大小。

线程会占用内存，如果每个线程都占用更多内存，整体上将消耗更多的内存。每个线程默认占用内存大小取决于 JVM 实现。可以利用 -Xss 参数限制线程内存大小，降低总内存消耗。例如，JVM 默认每个线程占用 1M 内存，应用有 500个 线程，那么将消耗 500M 内存空间。如果实际上 256K 内存足够线程正常运行，配置 -Xss256k，那么 500 个线程将只需要消耗 125M 内存。（注意，如果 -Xss 设置的过低，又将会产生 java.lang.StackOverflowError 错误）

2.3 方法区溢出

方法区存储的是虚拟机加载的类信息、常量、静态变量、JIT 编译器编译后的代码等数据，在 JDK1.7之前，HotSpot 都是使用 "永久代" 来管理这些数据，也就是说，方法区的数据，其实也是属于堆内存的，会占用堆内存。

因此：方法区的数据大小 < -XX:MaxPermSize < -Xmx

我们只要限制一下永久代的大小（-XX:MaxPermSize），很容易就会发生方法区溢出，此时方法区容易出现：java.lang.OutOfMemoryError: PermGen space。可以通过设置 -XX:PermSize 和 -XX:MaxPermSize 来限制方法区大小。

/**
 * VM Args:-verbose:gc -XX:PermSize=10M -XX:MaxPermSize=10M
 * Error:java.lang.OutOfMemoryError: PermGen space
 * @author moonxy
 *
 */
public class OutOfMemoryPermGenSpaceTest {
    
    public static void main(String[] args) {
        
        List<String> oomPgsList = new ArrayList<String>();
        int i = 0;
        while(true) {
            oomPgsList.add(String.valueOf(i++).intern());
        }
    }
}

运行后结果如下：

Exception in thread "main" java.lang.OutOfMemoryError: PermGen space

如果我们在 JDK 1.7 的环境下执行上面同样的代码，会发现 while 循环会一直执行下去。原因是在 JDK 1.7 中，HotSpot 已经不再将常量放入永久代中进行管理，而是放到内存上限是本机内存的 Native Memory 中，这样做的好处就是减少了内存溢出的几率（没有了-XX:MaxPermSize 的限制），同时常量不再占用堆的内存。这种 "去永久代" 的做法，从 JDK 1.7 已经开始进行。终于在 JDK 1.8 中，被彻底的执行了，永久代被彻底去掉了，同时 HotSpot 新增了一块叫做 Mataspace 的区域，并提供了 -XX:MetaspaceSize 和 -XX:MaxMetaspaceSize 参数，来设置运行 Java 虚拟机使用的 Metaspace 的初始容量和最大容量。

2.4 本机直接内存溢出

直接内存（Direct Memory）并不是虚拟机运行时数据区的一部分，也不是 Java 虚拟机规范中定义的内存区域。但是这部分内存也被频繁的使用，而且也可能导致 OutOfMemoryError 出现，即：java.lang.OutOfMemory。

本机直接内存的容量可以通过 -XX:MaxDirectMemorySize 指定，如果不指定，默认与 Java 堆最大值（-Xmx指定）一样。

本机直接内存溢出的一个明显特征是，dump 文件很小，因为主要对象都在 direct memory了，并且异常信息也不会说明是在哪个区域发生内存溢出，就像这样：java.lang.OutOfMemoryError

/**
 * 
 * VM Args:-verbose:gc -XX:MaxDirectMemorySize
 * Error:java.lang.OutOfMemory
 * @author moonxy
 *
 */
public class DirectMemoryOOM {

    private static final int _1MB = 1024 * 1024;

    public static void main(String[] args) throws Exception {
        Field unsafeField = Unsafe.class.getDeclaredFields()[0];
        unsafeField.setAccessible(true);
        Unsafe unsafe = (Unsafe) unsafeField.get(null);
        while (true) {
            unsafe.allocateMemory(_1MB);
        }
    }
}

运行结果如下：

Exception in thread "main" java.lang.OutOfMemoryError

综上，当 Java 应用比较大时，可以设置如下的 JVM 参数：

-Xms256m -Xmx1024m -XX:PermSize=256m -XX:MaxPermSize=512m

注意：

方法区存储的对象类型在 JDK 1.6、1.7、1.8 等不同的 JDK 版本中都有变化，在具体的开发中，需要特别注意 JDK 版本的不同，而导致的一些差异。

JDK 1.6 之后提供了 jvisualvm 工具，用于监控 JVM 内存的使用情况，通常在 jdk 的 bin 目录下，直接运行 jvisualvm.exe，可以监控内存泄露、跟踪垃圾回收、运行时内存、cpu 分析、线程分析等。