排查问题工具

在长期排查线上问题的过程当中，总结了一些工具的用法和排查问题的思路，这里跟你们分享一下，在遇到相似的问题时，但愿能给予一些帮助。

首先讲讲工具， jvm 自带的一些工具是必须熟练掌握的，例如jstack, jmap, jstat等，它们能够帮咱们去深刻了解JVM正在作的事情，主要的适用领域有这些：

一、jstack

jstack能够告诉你当前全部JVM线程正在作什么，包括用户线程和虚拟机线程，你能够用它来查看线程栈，而且结合Lock信息来检测是否发生了死锁和死锁的线程。

没事儿jstack一下，知道你的小伙伴正在作什么。

另外在用top -H看到占用CPU很是高的pid时，能够转换成16进制后在jstack dump出来的文件中搜索，看看究竟是什么线程占用了CPU。

二、jstat

stat，顾名思义就是提供一些统计信息，它能够告诉你当前的GC状况，包括GC次数、时间，具体的GC还能够结合gc.log文件去分析。

通常来讲，咱们用jstat去查看GC状况，判断是否存在YGC或FGC频繁的状况，再去看gc.log和jamp dump内存，MAT分析来定位问题（后面会有一个case针对这种场景）。

经常使用的用法是jstat -gcutil pid time_interval

三、jmap

排查GC问题必然会用到的工具，jmap能够告诉你当前JVM内存堆中的对象分布及其关系，当你dump堆以后能够用MAT分析，看看有哪些大对象，或者哪些类的实例特别多。

经常使用用法：

强制FGC：-histo:live

dump堆：-dump:[live],format=b,file=dump.bin

查看各代内存占用状况：-heap

而后咱们来介绍一些开源的工具，来加强JVM工具自己的做用。

一、MAT（ eclipse Memory Analyzer）

GC分析必备，用于分析jmap或OOM时dump出来的内存快照，能够看到对象和引用关系。

官方地址： http://www.eclipse.org/mat/

二、top

这个是 linux 自带的命令，查看系统资源消耗状况，能够看看CPU、内存、SWAP、I/O的消耗状况，须要特别注意的有几个值：

ni，这个值若是特别高说明线程上下文切换开销较大，看看是否是开了太多的线程致使的

res，这个表明了进程实际占用的内存

swap，内存不足就会占用swap空间，这个时候通常应用的性能会急剧降低，须要特别关注

三、HouseMD

一个相似于BTrace的工具，用于对JVM运行时的状态进行追踪和诊断，做者是中间件团队的聚石。

一般咱们排查问题不少时候都在代码中加个日志，看看方法的参数、返回值是否是咱们指望的，而后编译打包部署重启应用，十几分钟就过去了。HouseMD能够直接让你能够追踪到方法的返回值和参数，以及调用次数、调用平均rt、调用栈。甚至是类的成员变量的值、Class加载的路径、对应的ClassLoader，均可以用一行命令给你展示出来，堪称神器。

更多的用法能够参考详细的WiKi： https://github.com/CSUG/HouseMD

再偷偷告诉你，由于HouseMD是基于字节码分析来作的，因此理论上运行在JVM的语言均可以用它，包括Groovy，Clojure均可以。

四、TBJMap

经过jmap和MAT咱们能够知道整个JVM堆的对象分布状况，可是有时候咱们须要知道young/old/perm区分别有哪些对象的时候，就要用到TBJMap这个神器了。做者是中间件团队的叔同。

他能够告诉你各个分代区各个Class的实例数、占用的空间，以及DirectMemory占用的空间等。

用法很简单，一行命令便可。WiKi： https://github.com/alibaba/TBJMap

五、tsar

tsar是淘宝的采集工具，主要用来收集服务器的系统信息（如cpu，io，mem，tcp等）以及应用数据（如squid haproxy nginx等），tsar支持t实时查看和历史查看，方便了解应用和服务器的信息。

Usage: tsar [options]

Options:

-check display last record for alert

–check/-C display last record for alert.example:tsar –check / tsar –check –cpu –io

–cron/-c run in cron mode, output data to file

–interval/-i specify intervals numbers, in minutes if with –live, it is in seconds

–list/-L list enabled modules

–live/-l running print live mode, which module will print

–file/-f specify a filepath as input

–ndays/-n show the value for the past days (default: 1)

–date/-d show the value for the specify day(n or YYYYMMDD)

–merge/-m merge multiply item to one

–detail/-D do not conver data to K/M/G

–spec/-s show spec field data, tsar –cpu -s sys,util

–help/-h help

Modules Enabled:

–cpu CPU share (user, system, interrupt, nice, & idle)

–mem Physical memory share (active, inactive, cached, free, wired)

–swap swap usage

–tcp TCP traffic (v4)

–udp UDP traffic (v4)

–traffic Net traffic statistics

–io Linux I/O performance

–pcsw Process (task) creation and context switch

–partition Disk and partition usage

–tcpx TCP connection data

–load System Run Queue and load average

用不一样的参数能够看到历史和实时信息，CPU、Load、内存、网络、QPS、rt等等你想要的监控数据几乎都能看到。

目前tsar已经开源： http://tsar.taobao.org/