垃圾收集器与内存分配策略

Posted 2020-09-28 forever_elf

　　程序计数器，虚拟机栈，本地方法栈这三个区域随线程而生，随线程而灭；栈中的栈帧随着方法的进入和退出而有条不紊地执行着出栈和入栈操作。每个桢栈中分配多少内存基本上是在类结构确定下来时就已知的，因此这几个区域的内存分配和回收都具备确定性，在这几个区域内就不需要过多考虑回收的问题，因为方法结束或线程结束时，内存自然就跟着回收了。Java堆和方法区则不一样，这部分内存的分配和回收都是动态的，垃圾回收机制关注的是这部分内存。

 

　　引用计数算法

　　　　给对象中添加一个引用计数器，每当有一个对象引用它时，计数器值就加1，当引用失效时，计数器值就减1。任何时候计数器位0的对象就是不可能再被使用的。缺点是很难解决对象之间相互循环引用的问题。

 

　　可达性分析算法

　　　　通过一系列的称GC Roots的对象作为起始点，从这些节点开始向下搜索，搜索所走过的路径称为引用链(Reference Chain)，当一个对象到GC Roots没有任何引用链相连时，则证明此对象时不可用的。

　　　　在Java中，可作为GC Roots的对象包括：虚拟机栈中引用的对象；方法区中类静态属性引用的对象；方法区中常量引用的对象和本地方法栈中JNI引用的对象。

　　　　即使在可达性分析算法中不可达的对象，也并非是死亡的，这时他们暂时处于“缓行”阶段，一个对象的真正死亡要经历两次标记过程：若对象在进行可达性分析后发现没有与GC Roots相连接的引用链，那么它将会被第一次标记并且进行一次筛选，筛选的条件是此对象是否有必要执行finalize()方法。当对象没有覆盖finalize()方法或finalize()方法已被虚拟机调用过，虚拟机将这两种情况都视为没有必要执行。若这个对象被判定有必要执行finalize()方法，那么这个对象将会放置在一个叫做F-Queue的队列之中，并在稍后由一个由虚拟机自动建立的，低优先级的Finalizer线程去执行它。任何一个对象的finalize()方法都只会被系统自动调用一次。在实际开发中，应避免使用finalize()方法，因为它的运行代价高昂，不确定性大，无法保证各个对象的调用顺序。

 

　　引用

　　　　Java将引用分为强引用(Strong Reference)，软引用(Soft Reference)，弱引用(Weak Reference)和虚引用(Phantom Reference)这四种。

　　　　强引用类似Object obj = new Object();，只要引用还存在，垃圾收集器永远不会回收掉被引用的对象

　　　　软引用用来描述一些还有用但并非必须的对象。对于软引用关联着的对象，在系统将要发生内存溢出异常之前，将会把这些对象列进回收范围之中进行第二次回收。若这次回收还没有足够的内存，则抛出内存溢出异常

　　　　弱引用用来描述非必需对象，但被弱引用关联的对象只能生存到下一次垃圾收集之前。当垃圾收集器工作时，无论当前内存是否足够，都会回收掉只对弱引用关联的对象。

　　　　虚引用也称为幽灵引用或幻影引用，它是最弱的一种引用关系。一个对象是否有虚引用的存在，完全不会对其生存时间构成影响，也无法通过虚引用来取得一个对象实例。为一个对象设置虚引用关联的唯一目的就是能在这个对象杯回收器收集时得到一个系统通知。

 

　　回收方法区

　　　　永久代的垃圾收集主要回收两部分内容：废弃常量和无用的类。回收废弃常量的回收和堆类似，若当前系统没有一个对象引用常量池中的某个元素，那么这个元素就会被系统清理出常量池。无用的类则需要满足三个条件：该类的所有实例都已经被回收；加载该类的ClassLoader已被回收；该类对应的java.lang.Class对象没有在任何地方被引用，无法通过反射访问该类的方法。

 

　　垃圾收集算法

　　　　标记清理算法

　　　　　　最基础的垃圾收集算法是“标记-清理”(Mark-Sweep)算法。算法分为“标记”和“清扫”两个阶段：首先先标记出所有需要回收的对象，在标记完成后统一回收所有被标记的对象。这个算法有两个不足：一是效率问题，标记和清除这两个过程的效率都不高，而是空间问题，标记清除之后会产生大量不连续的内存碎片。空间碎片太多会导致以后在程序运行过程中需要分配较大对象时，无法找到足够的连续内存而不得不提前触发另一次来回收动作。

　　　　复制算法

　　　　　　它将可用内存安容量划分为大小相等的两块，每次只使用其中的一块。当这一块的内存用完了，就将还存活着的对象划分为大小相等的两块，每次只使用其中的一块。当这一块的内存用完了，就将还存活着的对象复制到另一块上面，然后再把已使用过的内存空间一次清理掉。缺点是将内存缩小为原来的一半，损失较大。因此现在的jvm通常不按照1:1的比例来划分内存空间。而是将内存空间分为一块较大的Eden和两块较小的Survivor空间，每次使用Eden和其中一块Survivor空间。当回收时，将Eden和Survivor中还存活着的对象一次性地复制到另一块Survivor空间上，最后清理掉Eden和Survivor空间。当Survivor空间不够用时，需要依赖其他内存进行分配担保(Handle Promotion)。

　　　　标记整理算法

　　　　　　首先先标记出所有需要回收的对象，然后让所有存货的对象都向一端移动，然后直接清理掉边界以外的内存。

　　　　分代收集算法(Generational Collection)

　　　　　通常把Java堆分为新生代和老年代。在新生代中，每次垃圾收集时都发现有大量对象死去，只有少量的存活，那么就选用复制算法。而在老年代中因为对象存活率高，没有额外的空间对它进行分配担保，就必须使用“标记-清理”或“标记-整理”算法来进行回收。

 

　　HotSpot的算法实现

　　　　GC Roots的节点主要在全局性引用(常量或类静态属性)与执行上下文中。

　　　　可达性分析对时间的敏感还体现在GC停顿上，因为这项分析工作必须在一个能确保一致性（整个分析期间整个执行系统看起来像是被冻结在某个时间点上，不可以出现分析过程中对象引用关系还在不断变化的情况）的快照中进行。

　　　　当前主流java jvm使用的都是准确式GC。当执行系统停顿下来后，并不需要一个不漏地检查完所有执行上下文和全局的引用位置。在HotSpot的实现中，引用了一组称为OopMap的数据结构来达到这个目的，在类加载完成的时候，HotSpot就把对象內什么偏移量上是什么类型的数据计算出来，在JIT编译过程中，也会在特定的位置记录下栈和寄存器中哪些位置是引用。HotSpot并没有为每条指令都声称OopMap，只是在特定的位置记录下这些信息，这些位置被称为安全点(safe point)，即程序在执行时并非在所有地方都能停顿下来开始GC，只有在到达安全点时才能暂停。安全点点选定基本上是以程序“是否具有让程序长时间执行的特征”为标准选定的。长时间执行的最明显特征就是指令序列复用，例如方法调用，循环跳转，异常跳转等。对于safepoint，另一个需要考虑的问题是如何在GC发生时让所有线程都跑到最近的安全点上在停顿下来。有两种方式可选：抢先试中断(Preemptive Suspension)和主动式中断(Voluntary Suspension)。其中抢先式中断不需要线程执行代码主动去配合，在GC发生时，首先把所有线程都全部中断，若发现有线程中断的地方不在安全点上，就让它跑到安全点上。现在几乎没有jvm采用抢先式中断来暂停线程从而响应GC事件。主动式中断的思想是当GC需要中断线程的时候，不直接对线程操作，而是设置一个标志，各个线程执行时主动去轮训这个标志，发现中断标志为真时就自己中断挂起，轮训标志的地方和安全点是重合的。但当线程处于sleep和block状态时，线程可能无法响应jvm请求。对于这种情况，需要安全区域(safe region)。安全区域是指在一段代码中引用关系不会发生变化。在这个区域中的任意地方开始GC都是安全的。在线程执行到safe region中的代码时，首先标识自己已经进入了safe region。当jvm开始gc时，就不用管标识自己为safe region状态的线程了。在线程要离开sage region时，他要检查系统是否已经完成了根节点枚举，若完成了，线程则继续执行，否则就必须等到知道可以安全离开sage region的信号为止。

 

　　Serial收集器

　　　　Serial是一个单线程的收集器，它在进行垃圾收集时，必须暂停其他所有的工作线程，直到它收集结束。Serial简单而高效，对于限定单个CPU的环境来说，Serial收集器由于没有线程交互的开销，因此可以获得最高的单线程收集效率。Serial收集器对于运行在Client模式下的虚拟机来说是一个很好的选择。

　　ParNew收集器

　　　　ParNew收集器是Serial的多线程版本。除使用多条线程进行垃圾收集之外，其行为包括Serial收集器可用的所有控制参数，收集算法，Stop the world，对象分配规则，回收策略。ParNew时运行在多Server模式下的虚拟机中首选的新生代收集器。除了Serial收集器外，只有它能与CMS收集器配合工作。ParNew收集器使用-XX:+UseConcMarkSweepGC选项后的默认新生代收集器，也可以使用-XX:UseParNewGC选项来强制指定它。ParNew默认开启的收集线程数与CPU的数量相同，可以使用-XX:ParallelGCThreads参数来限制垃圾收集的线程数。

　　Parallel Scanvenge收集器

　　　　Parallel Scanvenge收集器是一个新生代收集器，它可以使用复制的算法并并行。CMS收集器的关注点是尽可能地缩短垃圾收集时用户线程的停顿时间。Parallel Scanvenge收集器的目的是达到一个可控制的吞吐量（吞吐量就是CPU用于运行用户代码的时间与CPU总消耗时间的比值）。Parallel Scanvenge收集器提供了两个参数用于精确控制吞吐量，分别是最大垃圾收集停顿时间的-XX:MaxGCPauseMillis参数以及直接设置吞吐量的大小的-XX:GCTimeRatio参数。MaxGCPauseMillis参数允许一个大于0的毫秒数，收集器将尽可能保证内存回收花费的时间不超过设定值。GC停顿时间缩短是以牺牲吞吐量和新生代空间来换取的，这也直接导致垃圾收集发生得更频繁。GCTimeRatio参数值应该是一个大于0且小于100的整数，即垃圾收集时间占总时间的比例。相当于吞吐量的倒数。Parallel Scanvenge的-XX:UseAdaptiveSizePolicy是一个开关参数。设置这个参数后，虚拟机会根据当前系统运行情况收集性能监控信息，动态调整这些参数以提供最合适的停顿时间或最大的吞吐量，这种调节方式称为GC自适应的调节策略(GC Ergonomics)。

　　Serial Old收集器

　　　　Serial Old是Serial收集器的老年代版本，它是一个单线程收集器，使用“标记-整理”算法。这个收集器主要给Client模式下的虚拟机使用。主要有两大用途：一是在JDK1.5及之前的版本中与Parallel Scanvenge收集器搭配使用。另一种是作为CMS收集器的后备预案，在并发收集发生Concurrent Mode Failure时使用。

　　Parallel Old收集器

　　　　Parallel Old是Parallel Sanvenge收集器的老年代版本，使用多线程和“标记-清理”算法。在注重吞吐量和CPU资源敏感的场合，可以优先考虑Parallel Scanvenge加Parallel Old收集器。

　　CMS收集器

　　　　CMS(Concurrent Mark Sweep)收集器是一种以获取最短回收停顿时间为目标的收集器。CMS收集器是记忆“标记-清除”算法实现的。整个过程分为4步：初始标记(CMS initial mark)，并发标记(CMS concurrent mark)，重新标记(CMS remark)，并发清除(CMS concurrent sweep)。初始标记，重新标记两个步骤仍需stop the world。初始标记只是标记下GC Roots能直接关联到的对象，速度很快。并发标记阶段是进行GC Roots Tracing的过程。重新标记阶段是为了修正并发标记期间因用户程序继续运行而导致标记产生变动的那一部分对象的标记记录，这个阶段的停顿时间一般比初始标记阶段超长，但远比并发标记时间短。

　　　　CMS有三个缺点：

　　　　　　CMS收集器对CPU资源非常敏感。CMS默认启动的回收线程数是（CPU数量+3)/4。当CPU不足4个时，CMS对用户程序影响会比较大。为了应付这种情况，JVM提供了一种称为增量式并发收集器(Incremental Concurrent Mark Sweep，i-CMS)的CMS收集器变种。在并发标记，清理时让GC线程和用户线程交替进行，尽量减少GC线程的独占资源时间。实践证明，增量时的CMS收集器效果一般，已被声明为“deprecated”。

　　　　　　CMS无法处理浮动垃圾(Floating Garbage)，可能出现“Concurrent Mode Failure”失败而导致另一次Full GC的产生。由于CMS并发清理阶段用户线程还在运行，伴随程序运行自然就会有新的垃圾不断产生，这一部分垃圾出现在标记过程之后，CMS无法在当次收集中处理掉它们，只好留到下一次GC时再清理掉。这部分垃圾称为“浮动垃圾”。由于在垃圾收集阶段用户线程还需运行，因此还需要预留足够的内存空间给用户线程使用，因此CMS收集器不能像其他收集器那样等到老年代几乎完全被填满了在进行收集。在JDK1.6中，CMS收集器在启阈值已经提升至92%，可以通过-XX:CMSInitiatingOccupanyFraction。要是CMS运行期间预留的内存无法满足程序需要，就会出现一次“Concurrent Mode Failure”失败，这时虚拟机将会启动后备预案：临时启用Serial Old收集器来重新进行老年代的垃圾收集。

　　　　　　CMS是基于“标记-清除”算法实现的，因此可能导致空间碎片过多，但老年代还有很大空间剩余。CMS收集器提供一个-XX:+UseCMSCompactAtFullCollection开关参数（默认开启），用于在CMS收集器顶不住要进行FullGC时开启內存碎片的合并整理过程。-XX:CMSFullGCsBeforeCompaction这个参数用于设置执行多少次不压缩的Full GC后，跟着来一次带压缩的。

　　G1收集器

　　　　G1(Garbage First)是一款面向服务端应用的垃圾收集器。G1具备如下特点：　　

　　　　　　并行与并发：G1收集器可以通过并发的方式让Java程序继续运行

　　　　　　分代收集

　　　　　　空间整合：G1整体看来是基于“标记-整理”算法实现的收集，从局部上看是基于“复制”算法实现的。

　　　　　　可预测的停顿：G1可以建立可预测的停顿时间模型，能让使用者明确指定在一个长度为M毫秒的时间片段内，消耗在垃圾收集上的时间不得超过N毫秒。

　　　　G1将整个Java堆分为多个大小相等的独立区域(Region)，虽保留了新生代和老年代的概念，但新生代和老年代不再是物理隔离的，他们都是Region的集合。G1跟踪各个Region里面的垃圾堆积的价值大小，在后台维护一个优先列表，每次根据允许的收集时间，优先回收价值最大的Region。

　　　　在G1收集器中，Region之间的对象引用以及其他收集器中的新生代与老年代之间的对象引用，虚拟机都是使用Remembered Set来避免全堆扫描。G1中每个Region都与一个与之对应的Remembered Set，虚拟机发现程序在堆Reference类型的数据进行写操作时，会产生一个Write Barrier暂时中断写操作，检查Reference引用的对象是否处于不同的Region之中，若是，便通过CardTable把相关引用信息记录到被引用对象所属的Region的Remembered Set之中。当进行内存回收时，在GC跟节点的枚举范围中加入Remembered Set即可保证不对全队扫描也会有遗漏。

　　　　若不计算维护Remembered Set的操作，G1收集器的运作大致可划分为几个步骤：初始标记(initial marking)，并发标记(concurrent marking)，最终标记(final marking)和筛选回收(live data counting and evacuation)。

　　　　初始标记阶段仅仅是标记一下GC Roots能直接关联到的对象，并且修改TAMS(Next Top at Mark Start)的值，让下一阶段用户程序并发运行时，能在正确可用的Region中创建新对象，这阶段需要停顿线程，但耗时很短。并发标记阶段是从GC Root开始对堆中对象进行可达性分析，找出存活对象，这阶段耗时较长，但可与用户程序并发执行。而最终标记阶段则是为了修正正在并发标记期间因用户程序继续运作而导致标记产生变动的那一部分标记记录，虚拟机将这段时间对象变化记录在线程Remembered Set Logs里。最终标记阶段需要把Remembered Set Logs的数据合并到Remembered Set中国年，这阶段需要停顿线程，但可并行执行。最后在筛选回收阶段首先对各个Region的回收价值和成本进行排序，根据用户期望的GC停顿时间来指定回收计划。因为只回收一小部分Region，时间是用户可控制的，而且停顿用户线程将大幅提高收集效率。

 

　　GC日志

　　　　33.124: [Full GC [DefNew: 3324K -> 152K(3712K), 0.0025925 secs] 3324K -> 152K(11904K), 0.0031680]

　　　　100.67: [Full GC [Tenured: OK->210K(10240K), 0.0149142 secs] 4602K->210K(19456K), [Perm : 2999K -> 2999K(21248K)], 0.0150007 secs] [Times: user=0.01 sys=0.00, real=0.02 secs]

　　33.125和100.67代表GC发生的时间，这个数字的含义是从Java虚拟机启动以来经过的秒数。

　   Full GC说明了这次垃圾收集的停顿类型。若有Full，说明了这次GC是发生了Stop-The-World的。

　　DefNew, Tenured, Perm表示GC发生的区域。现实的区域名称与使用的GC收集器是密切相关的。

　　3324K->152K(3712K)含义是GC前盖内存区域已使用容量->GC后该内存区域已使用容量(该内存区域总容量)。

　　4602K->210K(11904K)GC前Java堆已使用容量->GC后Java堆已使用容量(Java堆总容量)。

　　0.0025925sec表示该内存区域GC所占用的时间，单位是秒。

　　user代表用户态消耗的CPU时间。sys代表内存态消耗的CPU事件。real代表操作从开始到结束所经过的墙钟时间(Wall Clock Time)。墙钟时间包括各种非运算的等待耗时，而CPU时间不包括这些耗时，但当系统有多CPU或多核的话，多线程操作会叠加这些CPU时间。

 

　　垃圾收集器参数总结

　　UseSerialGC：虚拟机运行在Client模式下的默认值，打开此开关后，使用Serial + Serial Old的收集器组合进行内存回收。

　　UseParNewGC：打开此开关后，使用ParNew + Serial Old的收集器组合进行内存回收。

　　UseConcMarkSweepGC：打开此开关后，使用ParNew + CMS + Serial Old的收集器组合进行内存回收。Serila Old收集器将作为CMS收集器出现Concurrent Mode Failure失败后的后背收集器使用

　　UserParallelGC：虚拟机运行在Server模式下的默认值，打开此开关后，使用Parallel Scanvenge + Serial Old的收集器组合进行内存回收

　　UserParallelOldGC：打开此开关后，使用Parallel Scanvenge + Parallel Old的收集器组合进行内存回收

　　SurvivorRatio：新生代中Eden区域与Survivor区域的容量比值，默认为8，代表Eden:Survivor=8:1

　　PretenureSizeThreshold：直接晋升老年代的对象大小，设置这个参数后，大于这个参数的对象将直接在老年代分配

　　MaxTenuringThreshold：晋升到老年代的对象年龄。每个对象在坚持过一次Minor GC之后，年龄就增加1，当超过这个参数值时就直接进入老年代

　　UserAdaptiveSizePolicy：动态调整Java堆中各个区域的大小以及进入老年代的年龄

　　HandlePromotionFailure：是否允许分配担保失败。即老年代的剩余空间不足以应付新生代的这个那个Eden和Survivor区的所有对象都存活的极端情况

　　ParallelGCThreads：设置并行GC时进行内存回收的线程数

　　GCTimeRatio：GC时间占总时间的比率，默认值为99，即允许1%的GC时间，仅在使用Parallel Scanvenge收集器时生效

　　MaxGCPauseMillis：设置GC的最大停顿时间。仅在使用Parallel Scanvenge收集器生效

　　CMSInitiatingOccupancyFraction：设置CMS收集器在老年代空间被使用多少后出发垃圾收集。默认值为68%，仅在使用CMS收集器时生效

　　UseCMSCompactAtFullCollection：设置CMS收集器在完成垃圾收集后是否要进行一次内存碎片整理。仅在使用CMS收集器时生效

　　CMSFullGCsBeforeCompaction：设置CMS收集器在进行若干次垃圾收集后再启动一次内存碎片整理。仅在使用CMS收集器时生效

 

 

　　内存分配与回收策略

　　　　Java技术体系所提倡的自动内存管理最终可归结为自动化解决两个问题：给对象分配内存以及回收分配给对象的内存。

　　　　对象内存分配大致就是在堆上分配。对象主要分配在新生代的Eden区上，若启动了本地线程分配缓冲，嫁给你按照线程优先在TLAB上分配。

 

　　新生代GC(Minor GC)：发生在新生代的垃圾收集动作，因为Java对象大多都具备朝生夕灭的特性，所以Minor GC非常频繁，一般回收速度也比较快

　　老年代GC(Major GC/ Full GC)：发生在老年代的GC，出现了Major GC，经常会伴随至少一次的Minor GC。Major GC的速度一般会比Minor GC的速度慢10倍

　　

　　　　对象优先在Eden分配

　　　　　　大多数情况下，对象在新声代Eden区中分配，当Eden区没有足够空间进行分配，虚拟机会发生一次Minor GC。虚拟机提供了-XX:+PrintGCDetails收集日志参数并在进程退出时输出当前内存个区域分配的情况。在实际应用中，内存回收日志一般时打印到文件后通过日志工具进行分析。

　　　　

　　　　大对象直接进入老年代

　　　　　　大对象是指大量连续内存空间的Java对象。虚拟机提供一个-XX:PretenureSizeThreshold参数，令大于这个设置值的对象直接在老年代分配。这样做的目的是避免在Eden区及两个Survivor区之间发生大量的内存复制。PretenureSizeThreshold参数只对Serial和ParNew两款收集器有效。

　　

　　　　长期存活的对象将进入老年代

　　　　　　虚拟机为每个对象定义了一个对象年龄(Age)计数器。若对象在Eden出生并经过1次Minor GC后仍然存活，并且能被Survivor容纳，将被移动到Survivor空间中并将对象年龄设为1。对象每在Survivor区中熬过一次Minor GC，年龄就增加1，当它的年龄达到设置的-XX:MaxTenuringThreshold(默认为15)，将会被晋升到老年代中。

　　　　

　　　　动态对象年龄判断

　　　　　　若在Survivor空间中相同年龄所有对象大小的总和大于Survivor空间的一半，年龄大于或等于该年龄的对象就可以直接进入老年代，无需等到MaxTenuringThreshold中要求的年龄。

 

　　　　空间分配担保

　　　　　　在发生Minor GC之前，虚拟机会先检查老年代最大可用的连接空间是否大于新生代所有对象总空间。若条件成立，那么Minor GC可用确保是安全的。若不成立，则虚拟机会查看HandlePromotionFailure设置值是否允许担保失败。若允许，那么会继续检查老年代最大可用的连续空间是否大于历次晋升到老年代对象的平均大小。若大于，将尝试进行一次Minor GC，尽管这次GC是有风险的。若小于，则要进行一次Full GC。

　　　　　　当出现大量对象在Minor GC后仍然存活的情况下，把Survivor无法容纳的对象直接进入老年代。老年代需要进行这样的担保，前提是老年代本身还有容纳这些对象的剩余空间。一般取之前每一次回收晋升到老年代对象容量的平均大小值作为经验值，与老年代的剩余空间进行比较，决定是否进行Full GC来让老年代腾出更多空间。如出现HandlePromotionFailure失败，那就之后再失败后重新发起一次Full GC。大部分情况下还是会嫁给你HandlePromotionFailure开关打开，避免Full GC过于频繁。JDK 6 Update 24规则改为只要老年代的连续空间大于新生代对象总大小或历次晋升的平均大小就进行Minor GC，否则进行Full GC。