JVM探究之 —— OOM异常

时间 2019-11-05

标签 jvm 探究 oom 异常栏目 Java 繁體版

原文原文链接

在Java虚拟机规范的描述中，除了程序计数器外，虚拟机内存的其余几个运行时区域都有发生OutOfMemoryError（下文称OOM）异常的可能。本节探究主要基于jdk1.8的内存结构。java

1. Java堆溢出

Java堆用于存储对象实例，只要不断地建立对象，而且保证GC Roots到对象之间有可达路径来避免垃圾回收机制清除这些对象，那么在对象数量到达最大堆的容量限制后就会产生内存溢出异常。windows

import java.util.ArrayList;
import java.util.List;

/**
 * Java堆内存溢出异常测试
 * <p>
 * -Xms20m -Xmx20m -XX:HeapDumpOnOutOfMemoryError
 */
public class HeapOOM {
    static class OOMObject {

    }

    public static void main(String[] args) {
        List<OOMObject> list = new ArrayList<OOMObject>();
        while (true) {
            list.add(new OOMObject());
        }
    }

}

经过配置VM参数限制Java堆的大小为20MB，不可扩展（将堆的最小值-Xms参数与最大值-Xmx参数设置为同样便可避免堆自动扩展），经过参数-XX：+HeapDumpOnOutOfMemoryError可让虚拟机在出现内存溢出异常时Dump出当前的内存堆转储快照以便过后进行分析。数组

执行结果以下，Java堆内存的OOM异常是实际应用中常见的内存溢出异常状况。当出现Java堆内存溢出时，异常堆栈信息“java.lang.OutOfMemoryError”会跟着进一步提示“Java heap space”。bash

要解决这个区域的异常，通常的手段是先经过内存映像分析工具（如Eclipse Memory Analyzer）对Dump出来的堆转储快照（在项目目录下）进行分析，重点是确认内存中的对象是不是必要的，也就是要先分清楚究竟是出现了内存泄漏（Memory Leak）仍是内存溢出（Memory Overflow）。多线程

分析过程以下：并发

1. 经过mat打开快照文件，选择运行内存泄漏嫌疑报告app

经过报告上面的饼图，能够清晰地看到一个可疑对象消耗了系统 96% 的内存。ide

在饼图的下方有对这个可疑对象的进一步描述。能够看到内存是由 java.lang.Object[]的数组实例消耗的，system class loader 负责这个对象的加载。经过描述能够了解到一些线索，好比是哪一个类占用了绝大多数的内存，它属于哪一个组件等等。工具

所以须要分析问题的缘由，为何一个 Object[]会占据了系统 99% 的内存？谁阻止了垃圾回收机制对它的回收？测试

回顾下 JAVA 的内存回收机制，内存空间中垃圾回收的工做由垃圾回收器 (Garbage Collector,GC) 完成的，它的核心思想是：对虚拟机可用内存空间，即堆空间中的对象进行识别，若是对象正在被引用，那么称其为存活对象，反之，若是对象再也不被引用，则为垃圾对象，能够回收其占据的空间，用于再分配。

在垃圾回收机制中有一组元素被称为根元素集合，它们是一组被虚拟机直接引用的对象，好比，正在运行的线程对象，系统调用栈里面的对象以及被 system class loader 所加载的那些对象。堆空间中的每一个对象都是由一个根元素为起点被层层调用的。所以，一个对象还被某一个存活的根元素所引用，就会被认为是存活对象，不能被回收，进行内存释放。所以，能够经过分析一个对象到根元素的引用路径来分析为何该对象不能被顺利回收。若是说一个对象已经不被任何程序逻辑所须要可是还存在被根元素引用的状况，能够说这里存在内存泄露。
2. 具体分析

点击“Details ”连接，查看对可疑对象的详细分析报告。

查看下从 GC 根元素到内存消耗汇集点的最短路径，在Shortest Paths To the Accumulation Point（GC root到汇集点的最短路径,就是持有可能泄漏内存对象的最近一层）的列表中，能够追溯到问题代码的类树的结构，并找到本身代码中的类。在列表中，有两列Shallow Heap和Retained Heap。Shallow Heap指的是就是对象自己占用内存的大小，不包含对其余对象的引用，也就是对象头加成员变量（不是成员变量的值）的总和。Retained Heap指的是该对象本身的Shallow Heap，加上从该对象能直接或间接访问到对象的Shallow Heap之和。换句话说，Retained Heap是该对象被GC以后所能回收到内存的总和。

能够很清楚的看到整个引用链，内存汇集点是一个拥有大量对象的集合。

接下来，再继续看看，这个对象集合里到底存放了什么，为何会消耗掉如此多的内存。在Accumulated Objects in Dominator Tree列表中，能够查看建立的大量的对象的汇集详情，即完整的reference chain 。

在这张图上，咱们能够清楚的看到，这个对象集合中保存了大量 OOMObject对象的引用，就是它致使的泄露。

若是肯定为内存泄露，可进一步经过工具查看泄露对象到GC Roots的引用链。因而就能找到泄露对象是经过怎样的路径与GC Roots相关联并致使垃圾收集器没法自动回收它们的。掌握了泄露对象的类型信息及GC Roots引用链的信息，就能够比较准确地定位出泄露代码的位置。

若是不存在泄露，换句话说，就是内存中的对象确实都还必须存活着，那就应当检查虚拟机的堆参数（-Xmx与-Xms），与机器物理内存对比看是否还能够调大，从代码上检查是否存在某些对象生命周期过长、持有状态时间过长的状况，尝试减小程序运行期的内存消耗。

2. 虚拟机栈和本地方法栈溢出

因为在HotSpot虚拟机中并不区分虚拟机栈和本地方法栈，所以，对于HotSpot来讲，虽然-Xoss参数（设置本地方法栈大小）存在，但其实是无效的，栈容量只由-Xss参数设定。关于虚拟机栈和本地方法栈，在Java虚拟机规范中描述了两种异常：

若是线程请求的栈深度大于虚拟机所容许的最大深度，将抛出StackOverflowError异常。
若是虚拟机在扩展栈时没法申请到足够的内存空间，则抛出OutOfMemoryError异常。

这里把异常分红两种状况，看似更加严谨，但却存在着一些互相重叠的地方：当栈空间没法继续分配时，究竟是内存过小，仍是已使用的栈空间太大，其本质上只是对同一件事情的两种描述而已。

定义大量的本地变量，增大此方法帧中本地变量表的长度或者设置-Xss参数减小栈内存容量，这两种操做都会抛出StackOverflowError异常。

/**
 * 虚拟机栈SOF测试
 * <p>
 * -Xss128k */
public class JavaVMStackSOF {
    private int stackLength = 1;

    public void stackLeak(){
        stackLength++;
        stackLeak();
    }

    public static void main(String[] args) throws Throwable{
        JavaVMStackSOF oom = new JavaVMStackSOF();
        try {
            oom.stackLeak();
        }catch (Throwable e){
            System.out.println("stack length :"+oom.stackLength);
            throw e;
        }
    }

}

运行结果以下，抛出StackOverflowError异常时输出的堆栈深度相应缩小。

因此，若是在单线程的状况下，不管是栈帧太大仍是虚拟机栈容量过小，当内存没法再分配的时候，虚拟机抛出的是StackOverflowError异常。

若是在多线程下，不断地创建线程可能会产生OutOfMemoryError异常。

/**
 * 建立线程致使内存溢出异常 注意：windows平台下执行可能会致使系统卡死
 * -Xss2M
 */
public class JavaVMStackOOM {
    private void dontStop(){
         while(true){}
    }
    public void stackLeakByThread(){
        while(true){
            Thread thread = new Thread(new Runnable() {
                @Override
                public void run() {
                    dontStop();
                }
            });
            thread.start();
        }
    }

    public static void main(String[] args) {
        JavaVMStackOOM oom = new JavaVMStackOOM();
        oom.stackLeakByThread();
    }
}

运行结果以下：

Exception in thread"main"java.lang.OutOfMemoryError：unable to create new native thread

上面代码致使OOM的缘由不难理解，操做系统分配给每一个进程的内存是有限制的，譬如32位的Windows限制为2GB。虚拟机提供了参数来控制Java堆和方法区的这两部份内存的最大值。剩余的内存为2GB（操做系统限制）减去Xmx（最大堆容量），再减去MaxPermSize（最大方法区容量），程序计数器消耗内存很小，能够忽略掉。若是虚拟机进程自己耗费的内存不计算在内，剩下的内存就由虚拟机栈和本地方法栈“瓜分”了。每一个线程分配到的栈容量越大，能够创建的线程数量天然就越少，创建线程时就越容易把剩下的内存耗尽；64位的Windows限制为8TB，理论上是能够建立不少线程的，可是，谁的机器内存有8TB？？因此，在其余系统如Linux，建立多线程时，尽管未达到进程的内存限制，每每也会达到机器的最大内存，致使OOM。

在开发多线程的应用时特别注意，出现StackOverflowError异常时有错误堆栈能够阅读，相对来讲，比较容易找到问题的所在。并且，若是使用虚拟机默认参数，栈深度在大多数状况下（由于每一个方法压入栈的帧大小并非同样的，因此只能说在大多数状况下）达到1000～2000彻底没有问题，对于正常的方法调用（包括递归），这个深度应该彻底够用了。可是，若是是创建过多线程致使的内存溢出，在不能减小线程数或者更换64位虚拟机的状况下，就只能经过减小最大堆和减小栈容量来换取更多的线程。

3. 方法区和运行时常量池溢出

String.intern（）是一个Native方法，它的做用是：若是字符串常量池中已经包含一个等于此String对象的字符串，则返回表明池中这个字符串的String对象；不然，将此String对象包含的字符串添加到常量池中，而且返回此String对象的引用。

import java.util.ArrayList;
import java.util.List;

/**
 * 运行时常量池致使的内存溢出异常*/
public class RuntimeConstantPoolOOM {
    public static void main(String[] args) {
        //使用List保持常量池引用，避免Full GC回收常量池行为
        List<String> list = new ArrayList<String>();
        //10M的PermSize在integer范围内足够产生OOM
        int i = 0;
        while (true){
            list.add(String.valueOf(i++).intern());
        }
    }
}

在JDK 1.6及以前的版本中，因为常量池分配在永久代内，咱们能够经过-XX：PermSize和-XX：MaxPermSize限制方法区（HotSpot虚拟机中的永久代）大小，从而间接限制其中常量池的容量。

JDK 1.6经过设置VM参数设置永久代大小 -XX:PermSize=10M -XX:MaxPermSize=10M，运行结果以下：

报错信息为永久代溢出，说明JDK1.6时运行时常量池在永久代。

JDK 1.7设置VM参数 -Xmx20m -Xms20m -XX:-UseGCOverheadLimit，这里的-XX:-UseGCOverheadLimit是关闭GC占用时间过长时会报的异常，而后限制堆的大小 -Xmx20m -Xms20m 。

报错信息为堆内存溢出，缘由是增长的常量都放到了堆中，因此限制堆内存之后，不断增长常量，致使堆内存溢出。说明JDK1.7时运行时常量池在堆中。

在JDK1.8中测试，设置VM参数 -Xmx20m -Xms20m -XX:-UseGCOverheadLimit，结果和JDK1.7相同。

补充一点：若是在上面的JDK 1.7或者JDK1.8中不经过VM参数 -XX:-UseGCOverheadLimit关闭GC占用时间过长时报的异常，即只设置VM参数 -Xmx20m -Xms20m ，执行结果以下：

并行/并发回收器在GC回收时间过长时会抛出OutOfMemroyError。过长的定义是，超过98%的时间用来作GC而且回收了不到2%的堆内存。用来避免内存太小形成应用不能正常工做。

由此可证实，在JDK1.2 ~ JDK6的实现中，HotSpot使用永久代实现方法区，从JDK7开始Oracle HotSpot开始移除永久代，JDK7中符号表被移动到Native Heap中，字符串常量和类引用被移动到Java Heap中。在JDK8中，字符串常量依然在堆中，“永久代”彻底被元空间(Meatspace)所取代。

运行以下一段代码测试String.intern（）的返回引用

public class InternMethodTest {
    public static void main(String[] args) {
        String str1=new StringBuilder("引用").append("测试").toString();
        System.out.println(str1.intern()==str1);

        String str2=new StringBuilder("ja").append("va").toString();
        System.out.println(str2.intern()==str2);
    }
}

这段代码在JDK 1.6中运行，会获得两个false，而在JDK 1.7中运行，会获得一个true和一个false。产生差别的缘由是：在JDK 1.6中，intern（）方法会把首次遇到的字符串实例复制到永久代中，返回的也是永久代中这个字符串实例的引用，而由StringBuilder建立的字符串实例在Java堆上，因此必然不是同一个引用，将返回false。而JDK 1.7（以及部分其余虚拟机，例如JRockit）的intern（）实现不会再复制实例，只是在常量池中记录首次出现的实例引用，所以intern（）返回的引用和由StringBuilder建立的那个字符串实例是同一个。对str2比较返回false是由于“java”这个字符串在执行StringBuilder.toString（）以前已经出现过，字符串常量池中已经有它的引用了，不符合“首次出现”的原则，而“计算机软件”这个字符串则是首次出现的，所以返回true。

方法区用于存放Class的相关信息，如类名、访问修饰符、常量池、字段描述、方法描述等。对于这些区域的测试，基本的思路是运行时产生大量的类去填满方法区，直到溢出。

方法区溢出也是一种常见的内存溢出异常，一个类要被垃圾收集器回收掉，断定条件是比较苛刻的。在常常动态生成大量Class的应用中，须要特别注意类的回收情况。这类场景除了上面提到的程序使用了CGLib字节码加强和动态语言以外，常见的还有：大量JSP或动态产生JSP文件的应用（JSP第一次运行时须要编译为Java类）、基于OSGi的应用（即便是同一个类文件，被不一样的加载器加载也会视为不一样的类）等。

4. 本机直接内存溢出

DirectMemory容量可经过-XX：MaxDirectMemorySize指定，若是不指定，则默认与Java堆最大值（-Xmx指定）同样，下面代码越过了DirectByteBuffer类，直接经过反射获取Unsafe实例进行内存分配（Unsafe类的getUnsafe（）方法限制了只有引导类加载器才会返回实例，也就是设计者但愿只有rt.jar中的类才能使用Unsafe的功能）。由于，虽然使用DirectByteBuffer分配内存也会抛出内存溢出异常，但它抛出异常时并无真正向操做系统申请分配内存，而是经过计算得知内存没法分配，因而手动抛出异常，真正申请分配内存的方法是unsafe.allocateMemory（）。

import sun.misc.Unsafe;
import java.lang.reflect.Field;

/**
 * 使用unsafe分配本机内存
 * -Xmx20M -XX:MaxDirectMemorySize=10M*/
public class DirectMemoryOOM {
    private static final int _1MB = 1024 * 1024;

    public static void main(String[] args) throws Exception {
        Field unsafeField = Unsafe.class.getDeclaredFields()[0];
        unsafeField.setAccessible(true);
        Unsafe unsafe = (Unsafe) unsafeField.get(null);
        while (true) {
            unsafe.allocateMemory(_1MB);
        }
    }
}

上面代码运行结果以下：

由DirectMemory致使的内存溢出，一个明显的特征是在Heap Dump文件中不会看见明显的异常，若是读者发现OOM以后Dump文件很小，而程序中又直接或间接使用了NIO，那就能够考虑检查一下是否是这方面的缘由。