一次linux服务器load高达600多的异常处理过程

#一次服务器load值狂飙的处理过程以及思路 处理时间:2016_11_22:17:00 java


#收到报警78服务器load值报警,登陆机器uptime查看load值ios

wKiom1g0DkXTtzyJAABBw6D_lOI162.png-wh_50

#load值超高,第一反应top一下,想找出来是哪一个程序消耗了大量的cputomcat

wKioL1g0DkWAIR9OAAR7eZozhGY187.png-wh_50

#没有发现,接着就是vmstat查看正常,iostat,free -m,一切正常,有几个操做未截图服务器

wKiom1g0DkWTQZGpAADFotDhczk686.png-wh_50

#当这一切都正常的时候人有点懵逼,甚至都准备去看看源码uptime 的load值是怎么计算出来的ide

然而找到了代码块并看不懂,继续查看问题,执行了netstat查看到有syn_recv这就证实有服务创建spa

链接失败,因而找到这个程序,而后netstat -tnlp|grep 看了一下。wKiom1g0D_SjO9GYAAEmK9uWXnc341.png-wh_50日志

#开始怀疑这个java程序有问题,因而查看日志,当天是11月22号,而程序日志在11月20号5点32分就停了,因而肯定程序问题。orm

wKiom1g0DkOCr0AcAADVbrW7rM8259.png-wh_50

#执行重启tomcat命令,这个就不用讲了,进入bin目录shutdown.sh 发现进程没了以后startup.shblog

而后等了几分钟load就降下来了进程

wKioL1g0Dt3he_daAABQlqXR4TA513.png-wh_50


纪录一下处理故障的思路和经历,提及来比较轻松,可是实际仍是花了必定的时间,在执行netstat以前毫无思路,卡了一段时间,都准备翻阅源码,比较尴尬,并且也没找到更深层次的缘由。

相关文章
相关标签/搜索