Spark（八）JVM调优以及GC垃圾收集器

一JVM结构

1 Java内存结构

JVM内存结构主要有三大块：堆内存、方法区和栈。

堆内存是JVM中最大的一块由年轻代和老年代组成，而年轻代内存又被分红三部分，Eden空间、From Survivor空间、To Survivor空间,默认状况下年轻代按照8:1:1的比例来分配；

方法区存储类信息、常量、静态变量等数据，是线程共享的区域，为与Java堆区分，方法区还有一个别名Non-Heap(非堆)；

栈又分为java虚拟机栈和本地方法栈主要用于方法的执行。

2 各区域内存大小

3 控制参数

-Xms设置堆的最小空间大小。

-Xmx设置堆的最大空间大小。

-XX:NewSize设置新生代最小空间大小。

-XX:MaxNewSize设置新生代最大空间大小。

-XX:PermSize设置永久代最小空间大小。

-XX:MaxPermSize设置永久代最大空间大小。

-Xss设置每一个线程的堆栈大小。

没有直接设置老年代的参数，可是能够设置堆空间大小和新生代空间大小两个参数来间接控制。

  老年代空间大小=堆空间大小-年轻代大空间大小

4 JVM和系统调用间的关系

 

方法区和堆是全部线程共享的内存区域；而java栈、本地方法栈和程序员计数器是运行是线程私有的内存区域。

二JVM各区域的做用

1 Java堆

    对于大多数应用来讲，Java堆（Java Heap）是Java虚拟机所管理的内存中最大的一块。Java堆是被全部线程共享的一块内存区域，在虚拟机启动时建立。此内存区域的惟一目的就是存放对象实例，几乎全部的对象实例都在这里分配内存。

     Java堆是垃圾收集器管理的主要区域，所以不少时候也被称作“GC堆”。若是从内存回收的角度看，因为如今收集器基本都是采用的分代收集算法，因此Java堆中还能够细分为：新生代和老年代；再细致一点的有Eden空间、From Survivor空间、To Survivor空间等。

根据Java虚拟机规范的规定，Java堆能够处于物理上不连续的内存空间中，只要逻辑上是连续的便可，就像咱们的磁盘空间同样。在实现时，既能够实现成固定大小的，也能够是可扩展的，不过当前主流的虚拟机都是按照可扩展来实现的（经过-Xmx和-Xms控制）。

若是在堆中没有内存完成实例分配，而且堆也没法再扩展时，将会抛出OutOfMemoryError异常。

2 方法区

  方法区（Method Area）与Java堆同样，是各个线程共享的内存区域，它用于存储已被虚拟机加载的类信息、常量、静态变量、即时编译器编译后的代码等数据。虽然Java虚拟机规范把方法区描述为堆的一个逻辑部分，可是它却有一个别名叫作Non-Heap（非堆），目的应该是与Java堆区分开来。

对于习惯在HotSpot虚拟机上开发和部署程序的开发者来讲，不少人愿意把方法区称为“永久代”（Permanent Generation），本质上二者并不等价，仅仅是由于HotSpot虚拟机的设计团队选择把GC分代收集扩展至方法区，或者说使用永久代来实现方法区而已。

Java虚拟机规范对这个区域的限制很是宽松，除了和Java堆同样不须要连续的内存和能够选择固定大小或者可扩展外，还能够选择不实现垃圾收集。相对而言，垃圾收集行为在这个区域是比较少出现的，但并不是数据进入了方法区就如永久代的名字同样“永久”存在了。这个区域的内存回收目标主要是针对常量池的回收和对类型的卸载，通常来讲这个区域的回收“成绩”比较难以使人满意，尤为是类型的卸载，条件至关苛刻，可是这部分区域的回收确实是有必要的。

根据Java虚拟机规范的规定，当方法区没法知足内存分配需求时，将抛出OutOfMemoryError异常。 

3 程序计数器

程序计数器（Program Counter Register）是一块较小的内存空间，它的做用能够看作是当前线程所执行的字节码的行号指示器。在虚拟机的概念模型里（仅是概念模型，各类虚拟机可能会经过一些更高效的方式去实现），字节码解释器工做时就是经过改变这个计数器的值来选取下一条须要执行的字节码指令，分支、循环、跳转、异常处理、线程恢复等基础功能都须要依赖这个计数器来完成。 
因为Java虚拟机的多线程是经过线程轮流切换并分配处理器执行时间的方式来实现的，在任何一个肯定的时刻，一个处理器（对于多核处理器来讲是一个内核）只会执行一条线程中的指令。所以，为了线程切换后能恢复到正确的执行位置，每条线程都须要有一个独立的程序计数器，各条线程之间的计数器互不影响，独立存储，咱们称这类内存区域为“线程私有”的内存。 
      若是线程正在执行的是一个Java方法，这个计数器记录的是正在执行的虚拟机字节码指令的地址；若是正在执行的是Natvie方法，这个计数器值则为空（Undefined）。

此内存区域是惟一一个在Java虚拟机规范中没有规定任何OutOfMemoryError状况的区域。

4 VM栈

与程序计数器同样，Java虚拟机栈（Java Virtual Machine Stacks）也是线程私有的，它的生命周期与线程相同。虚拟机栈描述的是Java方法执行的内存模型：每一个方法被执行的时候都会同时建立一个栈帧（Stack Frame）用于存储局部变量表、操做栈、动态连接、方法出口等信息。每个方法被调用直至执行完成的过程，就对应着一个栈帧在虚拟机栈中从入栈到出栈的过程。 

局部变量表存放了编译期可知的各类基本数据类型（boolean、byte、char、short、int、float、long、double）、对象引用（reference类型，它不等同于对象自己，根据不一样的虚拟机实现，它多是一个指向对象起始地址的引用指针，也可能指向一个表明对象的句柄或者其余与此对象相关的位置）和returnAddress类型（指向了一条字节码指令的地址）。

其中64位长度的long和double类型的数据会占用2个局部变量空间（Slot），其他的数据类型只占用1个。局部变量表所需的内存空间在编译期间完成分配，当进入一个方法时，这个方法须要在帧中分配多大的局部变量空间是彻底肯定的，在方法运行期间不会改变局部变量表的大小。

在Java虚拟机规范中，对这个区域规定了两种异常情况：若是线程请求的栈深度大于虚拟机所容许的深度，将抛出StackOverflowError异常；若是虚拟机栈能够动态扩展（当前大部分的Java虚拟机均可动态扩展，只不过Java虚拟机规范中也容许固定长度的虚拟机栈），当扩展时没法申请到足够的内存时会抛出OutOfMemoryError异常。

5 本地方法栈

本地方法栈（Native Method Stacks）与虚拟机栈所发挥的做用是很是类似的，其区别不过是虚拟机栈为虚拟机执行Java方法（也就是字节码）服务，而本地方法栈则是为虚拟机使用到的Native方法服务。虚拟机规范中对本地方法栈中的方法使用的语言、使用方式与数据结构并无强制规定，所以具体的虚拟机能够自由实现它。甚至有的虚拟机（譬如Sun HotSpot虚拟机）直接就把本地方法栈和虚拟机栈合二为一。与虚拟机栈同样，本地方法栈区域也会抛出StackOverflowError和OutOfMemoryError异常。

3、GC概述

垃圾收集 Garbage Collection 一般被称为“GC”，它诞生于1960年 MIT 的 Lisp 语言，通过半个多世纪，目前已经十分红熟了。

jvm 中，程序计数器、虚拟机栈、本地方法栈都是随线程而生随线程而灭，栈帧随着方法的进入和退出作入栈和出栈操做，实现了自动的内存清理，所以，咱们的内存垃圾回收主要集中于 java 堆和方法区中，在程序运行期间，这部份内存的分配和使用都是动态的。

3.1GC是什么

GC实际上是一种自动的内存管理工具，其行为主要包括2步

• 在Java堆中，为新建立的对象分配空间
• 在Java堆中，回收没用的对象占用的空间

3.2为何须要GC

释放开发人员的生产力

3.3为何须要多种GC

首先，Java平台被部署在各类各样的硬件资源上，其次，在Java平台上部署和运行着各类各样的应用，而且用户对不一样的应用的 性能指标 (吞吐率和延迟) 预期也不一样，为了知足不一样应用的对内存管理的不一样需求，JVM提供了多种GC以供选择

性能指标

• 最大停顿时长：垃圾回收致使的应用停顿时间的最大值
• 吞吐率：垃圾回收停顿时长和应用运行总时长的比例

不一样的GC能知足不一样应用不一样的性能需求，现有的GC包括：

• 序列化GC(serial garbage collector)：适合占用内存少的应用
• 并行GC 或 吞吐率GC(parallel or throughput garbage collector)：适合占用内存较多，多CPU，追求高吞吐率的应用
• 并发GC：适合占用内存较多，多CPU的应用，对延迟有要求的应用

3.4对象存活的判断

判断对象是否存活通常有两种方式：

引用计数：每一个对象有一个引用计数属性，新增一个引用时计数加1，引用释放时计数减1，计数为0时能够回收。此方法简单，缺点是没法解决对象相互循环引用的问题。

可达性分析（Reachability Analysis）：从GC Roots开始向下搜索，搜索所走过的路径称为引用链。当一个对象到GC Roots没有任何引用链相连时，则证实此对象是不可用的。不可达对象。

在Java语言中，GC Roots包括：

  虚拟机栈中引用的对象。

  方法区中类静态属性实体引用的对象。

  方法区中常量引用的对象。

  本地方法栈中JNI引用的对象。

因为循环引用的问题，通常采用跟踪（可达性分析）方法

4、垃圾回收算法

4.1 标记 -清除算法

“标记-清除”（Mark-Sweep）算法，如它的名字同样，算法分为“标记”和“清除”两个阶段：首先标记出全部须要回收的对象，在标记完成后统一回收掉全部被标记的对象。之因此说它是最基础的收集算法，是由于后续的收集算法都是基于这种思路并对其缺点进行改进而获得的。

它的主要缺点有两个：一个是效率问题，标记和清除过程的效率都不高；另一个是空间问题，标记清除以后会产生大量不连续的内存碎片，空间碎片太多可能会致使，当程序在之后的运行过程当中须要分配较大对象时没法找到足够的连续内存而不得不提早触发另外一次垃圾收集动做。

4.2 复制算法

“复制”（Copying）的收集算法，它将可用内存按容量划分为大小相等的两块，每次只使用其中的一块。当这一块的内存用完了，就将还存活着的对象复制到另一块上面，而后再把已使用过的内存空间一次清理掉。

这样使得每次都是对其中的一块进行内存回收，内存分配时也就不用考虑内存碎片等复杂状况，只要移动堆顶指针，按顺序分配内存便可，实现简单，运行高效。只是这种算法的代价是将内存缩小为原来的一半，持续复制长生存期的对象则致使效率下降。

4.3 标记-整理算法

复制收集算法在对象存活率较高时就要执行较多的复制操做，效率将会变低。更关键的是，若是不想浪费50%的空间，就须要有额外的空间进行分配担保，以应对被使用的内存中全部对象都100%存活的极端状况，因此在老年代通常不能直接选用这种算法。

根据老年代的特色，有人提出了另一种“标记-整理”（Mark-Compact）算法，标记过程仍然与“标记-清除”算法同样，但后续步骤不是直接对可回收对象进行清理，而是让全部存活的对象都向一端移动，而后直接清理掉端边界之外的内存

4.4 分代收集算法

分代收集法是目前大部分JVM所采用的方法，其核心思想是根据对象存活的不一样生命周期将内存划分为不一样的域，通常状况下将GC堆划分为老生代(Tenured/Old Generation)和新生代(Young Generation)。老生代的特色是每次垃圾回收时只有少许对象须要被回收，新生代的特色是每次垃圾回收时都有大量垃圾须要被回收，所以能够根据不一样区域选择不一样的算法。

目前大部分JVM的GC对于新生代都采起Copying算法，由于新生代中每次垃圾回收都要回收大部分对象，即要复制的操做比较少，但一般并非按照1：1来划分新生代。通常将新生代划分为一块较大的Eden空间和两个较小的Survivor空间(From Space, To Space)，每次使用Eden空间和其中的一块Survivor空间，当进行回收时，将该两块空间中还存活的对象复制到另外一块Survivor空间中。

而老生代由于每次只回收少许对象，于是采用Mark-Compact算法。

对象的内存分配主要在新生代的Eden Space和Survivor Space的From Space(Survivor目前存放对象的那一块)，少数状况会直接分配到老生代。当新生代的Eden Space和From Space空间不足时就会发生一次GC，进行GC后，Eden Space和From Space区的存活对象会被挪到To Space，而后将Eden Space和From Space进行清理。若是To Space没法足够存储某个对象，则将这个对象存储到老生代。在进行GC后，使用的即是Eden Space和To Space了，如此反复循环。当对象在Survivor区躲过一次GC后，其年龄就会+1。默认状况下年龄到达15的对象会被移到老生代中。

5、垃圾收集器

若是说收集算法是内存回收的方法论，垃圾收集器就是内存回收的具体实现，不一样厂商、不一样版本的虚拟机实现差异很大，HotSpot中包含的收集器以下：

5.1 Serial收集器

串行收集器是最古老，最稳定以及效率高的收集器，可能会产生较长的停顿，只使用一个线程去回收。新生代、老年代使用串行回收；新生代复制算法、老年代标记-压缩；垃圾收集的过程当中会Stop The World（服务暂停）

参数控制：-XX:+UseSerialGC  串行收集器

5.2 ParNew收集器

ParNew收集器其实就是Serial收集器的多线程版本。新生代并行，老年代串行；新生代复制算法、老年代标记-压缩

参数控制：-XX:+UseParNewGC  ParNew收集器

-XX:ParallelGCThreads 限制线程数量

5.3 Parallel收集器

Parallel Scavenge收集器相似ParNew收集器，Parallel收集器更关注系统的吞吐量。能够经过参数来打开自适应调节策略，虚拟机会根据当前系统的运行状况收集性能监控信息，动态调整这些参数以提供最合适的停顿时间或最大的吞吐量；也能够经过参数控制GC的时间不大于多少毫秒或者比例；新生代复制算法、老年代标记-压缩

参数控制：-XX:+UseParallelGC  使用Parallel收集器+ 老年代串行

5.4 CMS收集器

CMS（Concurrent Mark Sweep）收集器是一种以获取最短回收停顿时间为目标的收集器。目前很大一部分的Java应用都集中在互联网站或B/S系统的服务端上，这类应用尤为重视服务的响应速度，但愿系统停顿时间最短，以给用户带来较好的体验。

从名字（包含“Mark Sweep”）上就能够看出CMS收集器是基于“标记-清除”算法实现的，它的运做过程相对于前面几种收集器来讲要更复杂一些，整个过程分为4个步骤，包括： 

初始标记（CMS initial mark）

并发标记（CMS concurrent mark）

从新标记（CMS remark）

并发清除（CMS concurrent sweep）

 其中初始标记、从新标记这两个步骤仍然须要“Stop The World”。初始标记仅仅只是标记一下GC Roots能直接关联到的对象，速度很快，并发标记阶段就是进行GC Roots Tracing的过程，而从新标记阶段则是为了修正并发标记期间，因用户程序继续运做而致使标记产生变更的那一部分对象的标记记录，这个阶段的停顿时间通常会比初始标记阶段稍长一些，但远比并发标记的时间短。 
      因为整个过程当中耗时最长的并发标记和并发清除过程当中，收集器线程均可以与用户线程一块儿工做，因此整体上来讲，CMS收集器的内存回收过程是与用户线程一块儿并发地执行。老年代收集器（新生代使用ParNew）

  优势:并发收集、低停顿 

   缺点：产生大量空间碎片、并发阶段会下降吞吐量

   参数控制：-XX:+UseConcMarkSweepGC  使用CMS收集器

             -XX:+ UseCMSCompactAtFullCollection Full GC后，进行一次碎片整理；整理过程是独占的，会引发停顿时间变长

            -XX:+CMSFullGCsBeforeCompaction  设置进行几回Full GC后，进行一次碎片整理

            -XX:ParallelCMSThreads  设定CMS的线程数量（通常状况约等于可用CPU数量）

5.5 G1收集器

G1是目前技术发展的最前沿成果之一，HotSpot开发团队赋予它的使命是将来能够替换掉JDK1.5中发布的CMS收集器。与CMS收集器相比G1收集器有如下特色：

1. 空间整合，G1收集器采用标记整理算法，不会产生内存空间碎片。分配大对象时不会由于没法找到连续空间而提早触发下一次GC。

2. 可预测停顿，这是G1的另外一大优点，下降停顿时间是G1和CMS的共同关注点，但G1除了追求低停顿外，还能创建可预测的停顿时间模型，能让使用者明确指定在一个长度为N毫秒的时间片断内，消耗在垃圾收集上的时间不得超过N毫秒，这几乎已是实时Java（RTSJ）的垃圾收集器的特征了。

上面提到的垃圾收集器，收集的范围都是整个新生代或者老年代，而G1再也不是这样。使用G1收集器时，Java堆的内存布局与其余收集器有很大差异，它将整个Java堆划分为多个大小相等的独立区域（Region），虽然还保留有新生代和老年代的概念，但新生代和老年代再也不是物理隔阂了，它们都是一部分（能够不连续）Region的集合。

G1对Heap的划分

 

G1的新生代收集跟ParNew相似，当新生代占用达到必定比例的时候，开始出发收集。和CMS相似，G1收集器收集老年代对象会有短暂停顿。

收集步骤

一、标记阶段，首先初始标记(Initial-Mark),这个阶段是停顿的(Stop the World Event)，而且会触发一次普通Mintor GC。对应GC log:GC pause (young) (inital-mark)

二、Root Region Scanning，程序运行过程当中会回收survivor区(存活到老年代)，这一过程必须在young GC以前完成。

三、Concurrent Marking，在整个堆中进行并发标记(和应用程序并发执行)，此过程可能被young GC中断。在并发标记阶段，若发现区域对象中的全部对象都是垃圾，那个这个区域会被当即回收(图中打X)。同时，并发标记过程当中，会计算每一个区域的对象活性(区域中存活对象的比例)。

 

 

四、Remark, 再标记，会有短暂停顿(STW)。再标记阶段是用来收集 并发标记阶段 产生新的垃圾(并发阶段和应用程序一同运行)；G1中采用了比CMS更快的初始快照算法:snapshot-at-the-beginning (SATB)。

五、Copy/Clean up，多线程清除失活对象，会有STW。G1将回收区域的存活对象拷贝到新区域，清除Remember Sets，并发清空回收区域并把它返回到空闲区域链表中。

 

六、复制/清除过程后。回收区域的活性对象已经被集中回收到深蓝色和深绿色区域。

 

6、经常使用的收集器组合 

	新生代GC策略	年老代GC策略	说明
组合1	Serial	Serial Old	Serial和Serial Old都是单线程进行GC，特色就是GC时暂停全部应用线程。
组合2	Serial	CMS+Serial Old	CMS（Concurrent Mark Sweep）是并发GC，实现GC线程和应用线程并发工做，不须要暂停全部应用线程。另外，当CMS进行GC失败时，会自动使用Serial Old策略进行GC。
组合3	ParNew	CMS	使用-XX:+UseParNewGC选项来开启。ParNew是Serial的并行版本，能够指定GC线程数，默认GC线程数为CPU的数量。可使用-XX:ParallelGCThreads选项指定GC的线程数。 若是指定了选项-XX:+UseConcMarkSweepGC选项，则新生代默认使用ParNew GC策略。
组合4	ParNew	Serial Old	使用-XX:+UseParNewGC选项来开启。新生代使用ParNew GC策略，年老代默认使用Serial Old GC策略。
组合5	Parallel Scavenge	Serial Old	Parallel Scavenge策略主要是关注一个可控的吞吐量：应用程序运行时间 / (应用程序运行时间 + GC时间)，可见这会使得CPU的利用率尽量的高，适用于后台持久运行的应用程序，而不适用于交互较多的应用程序。
组合6	Parallel Scavenge	Parallel Old	Parallel Old是Serial Old的并行版本
组合7	G1GC	G1GC	-XX:+UnlockExperimentalVMOptions -XX:+UseG1GC        #开启-XX:MaxGCPauseMillis =50                  #暂停时间目标-XX:GCPauseIntervalMillis =200          #暂停间隔目标-XX:+G1YoungGenSize=512m            #年轻代大小-XX:SurvivorRatio=6                            #幸存区比例