记一次jvm异常排查及优化

 　　为方便本身查看，根据工做遇到的问题，转载并整理如下jvm优化内容

　　有次接到客服反馈，生产系统异常，没法访问。接到通知紧急上后台跟踪，查看了数据库死锁状况--正常，接着查看tomcat 内存溢出--正常，再去跟踪流量--正常。没折了，把生产系统重起，刚开始几分钟，监控显示一切正常，过几分钟状况恢复正常。再去检查apache代理机，发现代理机长时间没有返回形成阻塞宕机。问题由此肯定。接着查看了xxx.com/proxoolAdmin?alias=ec&tab=snapshot 数据链接池状况，发现链接池爆满了。再次验证了生产系统存在长时间处理的业务。

　　从这个问题反映出，生产系统上压力测试存在问题，基本的压力测试流程没有，同时经过此次排查异常也暴露了本身自己在jvm异常优化方面经验缺失。

　　接下来狠狠的给本身补齐这门jvm优化的相关知识。调优的目的是保持jvm稳定，而不是提升tqs等4个9的参数指标。

调整jvm内存等关键信息

　　配置tomcat调用的虚拟机内存大小

　　（1）直接设置tomcat

　　　　Linux

　　　　修改TOMCAT_HOME/bin/catalina.sh 
　　　　位置cygwin=false前。
　　　　JAVA_OPTS="-server -Xms256m -Xmx512m -XX:PermSize=64M -XX:MaxPermSize=128m" （仅作参考，具体数值根据本身的电脑内存配置）

　　　　windows

　　　　修改TOMCAT_HOME/bin/catalina.bat 
　　　　第一行加上
　　　　JAVA_OPTS="-server -Xms256m -Xmx512m -XX:PermSize=64M -XX:MaxPermSize=128m" 、

　　　　最大内存数最好不要超过系统内存是一半，一半设置为三分之一的较好。各个参数参照比例设置基本问题不大。

　　（2）配置环境变量

　　　　环境变量中设     变量名：JAVA_OPTS     变量值：-Xms512m   -Xmx512m

排查jvm异常主要包括内存使用状况，使用jstat 统计gc。死锁状况，因此须要定位到具体类，jstack  能够查看死锁。

统计gc信息

   jstat -class pid:显示加载class的数量，及所占空间等信息。

    jstat -compiler pid:显示VM实时编译的数量等信息。

    jstat -gc pid:能够显示gc的信息，查看gc的次数，及时间。其中最后五项，分别是young gc的次数，young gc的时间，full gc的次数，full gc的时间，gc的总时间。

    jstat -gccapacity:能够显示，VM内存中三代（young,old,perm）对象的使用和占用大小，如：PGCMN显示的是最小perm的内存使用量，PGCMX显示的是perm的内存最大使用量，PGC是当前新生成的perm内存占用量，PC是但前perm内存占用量。其余的能够根据这个类推， OC是old内纯的占用量。

    jstat -gcnew pid:new对象的信息。

    jstat -gcnewcapacity pid:new对象的信息及其占用量。

    jstat -gcold pid:old对象的信息。

    jstat -gcoldcapacity pid:old对象的信息及其占用量。

    jstat -gcpermcapacity pid: perm对象的信息及其占用量。

    jstat -util pid:统计gc信息统计。

    jstat -printcompilation pid:当前VM执行的信息。

各列意义：

　　S0C：年轻代中第一个存活区的大小

　　S1C：年轻代中第二个存活区的大小

　　S0U：年轻代中第一个存活区已使用的空间 (KB) 

　　S1U：年轻代中第二个存活区已使用的空间 (KB) 

　　EC:   Edem区大小

　　EU:   年轻代中Edem区已使用的空间 (KB) 

　　OC:  老年代大小

　　OU:  老年代已使用的空间 (KB) 

　　PC:   持久代大小

　　PU:　持久代已使用的空间 (KB) 

　　YGC: 从应用程序启动到采样时young gc的次数

　　YGCT: 从应用程序启动到采样时young gc的所用的时间（s）

　　FGC:  从应用程序启动到采样时full gc的次数

　　FGCT: 从应用程序启动到采样时full gc的所用的时间

　　GCT: 从应用程序启动到采样时整个gc所用的时间

　　说明：YGCT 时间越短越好

频繁GC问题或内存溢出问题

　　1、使用jps查看线程ID

　　2、使用jstat -gc 3331 250 20 查看gc状况，通常比较关注PERM区的状况，查看GC的增加状况。

　　3、使用jstat -gccause：额外输出上次GC缘由

　　4、使用jmap -dump:format=b,file=heapDump 3331生成堆转储文件

　　5、使用jhat或者可视化工具（Eclipse Memory Analyzer 、IBM HeapAnalyzer）分析堆状况。

　　6、结合代码解决内存溢出或泄露问题。

死锁问题

　　使用jstack -F pid

经常使用的压力测试工具及命令

  loadrunner，jmeter，tcpcopy

       tcpcopy是拷贝线上流量，对于已有接口和服务作压力测试是个神器，jmeter和loadrunner是压力测试工具，loandrunner压测结果更详细可视化不过笨重收费并且须要不少客户机，jmeter相对是平民版的loadrunner，胜在免费。

       jmap，jstack，jstat。jstat查看内存回收概况，实时查看各个分区的分配回收状况，jmap查看内存栈，查看内存中对象占用大小，jstack查看线程栈，死锁，性能瓶颈，某个线程使用cpu太高致使服务总体慢等均可以经过在这些命令辅助Linux命令看出来。

top，vmstat,sar,dstat，traceroute，ping，nc，netstat，tcpdump，ss等等。