1分钟Linux性能分析
总览
经过检查错误指标、饱和、资源利用率等指标来评估性能，利用use方法检测瓶颈java
uptime dmesg | tail vmstat 1 mpstat -P ALL 1 pidstat 1 iostat -xz 1 free -m sar -n DEV 1 sar -n TCP,ETCP 1 top
1. uptime
$ uptime 23:51:26 up 21:31, 1 user, load average: 30.02, 26.43, 19.02
能够观察到平均负载。负载就是cpu上等待或执行的进程数和在io上等待的进程数的和。示例中展现了最近1分钟、5分钟、15分钟平均负载分别为30.0二、26.4三、19.02，说明负载持续提高linux
2. dmesg | tail
$ dmesg | tail [1880957.563150] perl invoked oom-killer: gfp_mask=0x280da, order=0, oom_score_adj=0 [...] [1880957.563400] Out of memory: Kill process 18694 (perl) score 246 or sacrifice child [1880957.563408] Killed process 18694 (perl) total-vm:1972392kB, anon-rss:1953348kB, file-rss:0kB [2320864.954447] TCP: Possible SYN flooding on port 7001. Dropping request. Check SNMP counters.
能够观察到最近10条系统日志，经过日志观察可能引起性能问题的错误日志。示例中展现了oom-kill和tcp丢包ios
3. vmstat 1
$ vmstat 1 procs ---------memory---------- ---swap-- -----io---- -system-- ------cpu----- r b swpd free buff cache si so bi bo in cs us sy id wa st 34 0 0 200889792 73708 591828 0 0 0 5 6 10 96 1 3 0 0 32 0 0 200889920 73708 591860 0 0 0 592 13284 4282 98 1 1 0 0 32 0 0 200890112 73708 591860 0 0 0 0 9501 2154 99 1 0 0 0 32 0 0 200889568 73712 591856 0 0 0 48 11900 2459 99 0 0 0 0 32 0 0 200890208 73712 591860 0 0 0 0 15898 4840 98 1 1 0 0
- r：正在和等待cpu执行的进程数，比load更适合观察cpu饱和度，由于不含io上等待的进程数。当r大于cpu数量，说明cpu已经饱和
- free：剩余内存，单位为kb。使用
free -m更好 - si,so：内存换入换出，若是不为0，表示内存不够用
- us,sy,id,wa,st：这些表明用户态、系统态、空闲、等待IO、窃取的cpu时间。若是io瓶颈，则sy、id和wa都比较高
4. mpstat -P ALL 1
$ mpstat -P ALL 1 Linux 3.13.0-49-generic (titanclusters-xxxxx) 07/14/2015 _x86_64_ (32 CPU) 07:38:49 PM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle 07:38:50 PM all 98.47 0.00 0.75 0.00 0.00 0.00 0.00 0.00 0.00 0.78 07:38:50 PM 0 96.04 0.00 2.97 0.00 0.00 0.00 0.00 0.00 0.00 0.99 07:38:50 PM 1 97.00 0.00 1.00 0.00 0.00 0.00 0.00 0.00 0.00 2.00 07:38:50 PM 2 98.00 0.00 1.00 0.00 0.00 0.00 0.00 0.00 0.00 1.00 07:38:50 PM 3 96.97 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 3.03 [...]
每一个cpu执行时间，用来观察cpu负载是否不均衡，任务是不是单线程git
5. pidstat 1
$ pidstat 1 Linux 3.13.0-49-generic (titanclusters-xxxxx) 07/14/2015 _x86_64_ (32 CPU) 07:41:02 PM UID PID %usr %system %guest %CPU CPU Command 07:41:03 PM 0 9 0.00 0.94 0.00 0.94 1 rcuos/0 07:41:03 PM 0 4214 5.66 5.66 0.00 11.32 15 mesos-slave 07:41:03 PM 0 4354 0.94 0.94 0.00 1.89 8 java 07:41:03 PM 0 6521 1596.23 1.89 0.00 1598.11 27 java 07:41:03 PM 0 6564 1571.70 7.55 0.00 1579.25 28 java 07:41:03 PM 60004 60154 0.94 4.72 0.00 5.66 9 pidstat 07:41:03 PM UID PID %usr %system %guest %CPU CPU Command 07:41:04 PM 0 4214 6.00 2.00 0.00 8.00 15 mesos-slave 07:41:04 PM 0 6521 1590.00 1.00 0.00 1591.00 27 java 07:41:04 PM 0 6564 1573.00 10.00 0.00 1583.00 28 java 07:41:04 PM 108 6718 1.00 0.00 0.00 1.00 0 snmp-pass 07:41:04 PM 60004 60154 1.00 4.00 0.00 5.00 9 pidstat
列出了进程的状态信息，其中%CPU表明消耗的总cpu时间，示例中有两个java进程，消耗了1598.11%和1579.25%个，即接近16核cpudocker
6. iostat -xz 1
$ iostat -xz 1
Linux 3.13.0-49-generic (titanclusters-xxxxx) 07/14/2015 _x86_64_ (32 CPU)
avg-cpu: %user %nice %system %iowait %steal %idle
73.96 0.00 3.73 0.03 0.06 22.21
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
xvda 0.00 0.23 0.21 0.18 4.52 2.08 34.37 0.00 9.98 13.80 5.42 2.44 0.09
xvdb 0.01 0.00 1.02 8.94 127.97 598.53 145.79 0.00 0.43 1.78 0.28 0.25 0.25
xvdc 0.01 0.00 1.02 8.86 127.79 595.94 146.50 0.00 0.45 1.82 0.30 0.27 0.26
dm-0 0.00 0.00 0.69 2.32 10.47 31.69 28.01 0.01 3.23 0.71 3.98 0.13 0.04
dm-1 0.00 0.00 0.00 0.94 0.01 3.78 8.00 0.33 345.84 0.04 346.81 0.01 0.00
dm-2 0.00 0.00 0.09 0.07 1.35 0.36 22.50 0.00 2.55 0.23 5.62 1.78 0.03
[...]
这是分析块设备的工具。主要关注：后端
- r/s, w/s, rkB/s, wkB/s：块设备每秒读、写、读数据量（kb）、写数据量（kb）。若是较高说明该块设备负载较重
- await：io请求的平均耗时（ms），包含应用在io队列中等待和被服务的时间。若是较高说明块设备饱和或者故障
- avgqu-sz：提交到块设备的平均请求个数，大于1说明块设备饱和
- %util：块设备利用率，用来展现块设备忙碌程度。大于60% 一般会引起性能问题，100%表示块设备饱和
若是存储设备是逻辑盘，后端映射多个盘，则%util为100%并不表明饱和，avgqu-sz为1也不表明饱和缓存
磁盘io性能瓶颈一般不是应用程序的缘由，由于底层有不少技术已经将应用io优化（预读、缓存写）网络
7. free -m
# 低版本内核
$ free -m
total used free shared buffers cached
Mem: 245998 24545 221453 83 59 541
-/+ buffers/cache: 23944 222053
Swap: 0 0 0
# 高版本内核
$ free -m
total used free shared buff/cache available
Mem: 386404 10631 362422 184 13350 374301
Swap: 32766 0 32766
- buffers：给块设备IO操做提供的缓存
- cached：给文件系统提供的缓存，页缓存
若是这些值接近0，会致使磁盘IO性能差，能够经过iostat确认tcp
used和free不能精确代表已用内存和空闲内存，由于还有部分做为cache和buffers。低版本内核一般用-/+ buffers/cache来精确代表已用内存和空闲内存，而高版本内核用available代表空闲内存，其他都是已用内存工具
8. sar -n DEV 1
$ sar -n DEV 1 Linux 3.13.0-49-generic (titanclusters-xxxxx) 07/14/2015 _x86_64_ (32 CPU) 12:16:48 AM IFACE rxpck/s txpck/s rxkB/s txkB/s rxcmp/s txcmp/s rxmcst/s %ifutil 12:16:49 AM eth0 18763.00 5032.00 20686.42 478.30 0.00 0.00 0.00 0.00 12:16:49 AM lo 14.00 14.00 1.36 1.36 0.00 0.00 0.00 0.00 12:16:49 AM docker0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 12:16:49 AM IFACE rxpck/s txpck/s rxkB/s txkB/s rxcmp/s txcmp/s rxmcst/s %ifutil 12:16:50 AM eth0 19763.00 5101.00 21999.10 482.56 0.00 0.00 0.00 0.00 12:16:50 AM lo 20.00 20.00 3.25 3.25 0.00 0.00 0.00 0.00 12:16:50 AM docker0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
用来查看网络吞吐量。其中rxkB/s和txkB/s表明每秒接收和发送的数据量，能够比较好的观察网卡压力
示例中eth0每秒接收近22Mbytes/s，即22*8=176Mbits/sec流量数据，并与网卡带宽1Gbit/sec比较发现压力不大
%ifutil表明网卡设备利用率，目前不太准
9. sar -n TCP,ETCP 1
$ sar -n TCP,ETCP 1 Linux 3.13.0-49-generic (titanclusters-xxxxx) 07/14/2015 _x86_64_ (32 CPU) 12:17:19 AM active/s passive/s iseg/s oseg/s 12:17:20 AM 1.00 0.00 10233.00 18846.00 12:17:19 AM atmptf/s estres/s retrans/s isegerr/s orsts/s 12:17:20 AM 0.00 0.00 0.00 0.00 0.00 12:17:20 AM active/s passive/s iseg/s oseg/s 12:17:21 AM 1.00 0.00 8359.00 6039.00 12:17:20 AM atmptf/s estres/s retrans/s isegerr/s orsts/s 12:17:21 AM 0.00 0.00 0.00 0.00 0.00
总结了一些TCP相关的关键指标：
- active/s：每秒主动打开的TCP链接数（经过connect()）
- passive/s：每秒被动打开的TCP链接数（经过accept()）
- retrans/s：TCP每秒重传的报文数
一般active和passive观察服务负载，retrans能够判断网络是否异常或者服务端是否过载而出现丢包
10. top
$ top
top - 00:15:40 up 21:56, 1 user, load average: 31.09, 29.87, 29.92
Tasks: 871 total, 1 running, 868 sleeping, 0 stopped, 2 zombie
%Cpu(s): 96.8 us, 0.4 sy, 0.0 ni, 2.7 id, 0.1 wa, 0.0 hi, 0.0 si, 0.0 st
KiB Mem: 25190241+total, 24921688 used, 22698073+free, 60448 buffers
KiB Swap: 0 total, 0 used, 0 free. 554208 cached Mem
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
20248 root 20 0 0.227t 0.012t 18748 S 3090 5.2 29812:58 java
4213 root 20 0 2722544 64640 44232 S 23.5 0.0 233:35.37 mesos-slave
66128 titancl+ 20 0 24344 2332 1172 R 1.0 0.0 0:00.07 top
5235 root 20 0 38.227g 547004 49996 S 0.7 0.2 2:02.74 java
4299 root 20 0 20.015g 2.682g 16836 S 0.3 1.1 33:14.42 java
1 root 20 0 33620 2920 1496 S 0.0 0.0 0:03.82 init
2 root 20 0 0 0 0 S 0.0 0.0 0:00.02 kthreadd
3 root 20 0 0 0 0 S 0.0 0.0 0:05.35 ksoftirqd/0
5 root 0 -20 0 0 0 S 0.0 0.0 0:00.00 kworker/0:0H
6 root 20 0 0 0 0 S 0.0 0.0 0:06.94 kworker/u256:0
8 root 20 0 0 0 0 S 0.0 0.0 2:38.05 rcu_sched
几乎是以前全部命令的综合体，可是没法像vmstat和pidstat同样记录变化的过程
参考资料
相关文章
- 1. 如何1分钟内对 Linux 性能快速分析
- 2. linux性能分析
- 3. Linux性能分析
- 4. Linux 性能分析
- 5. Linux | 性能分析系列学习 （1）
- 6. 10条命令，一分钟分析Linux性能问题
- 7. APP性能分析1
- 8. linux性能分析工具
- 9. Linux系统性能分析
- 10. Linux性能分析命令
- 更多相关文章...
- • SVN分支 - SVN 教程
- • IP地址分配（静态分配+动态分配+零配置） - TCP/IP教程
- • Git五分钟教程
- • 算法总结-二分查找法
相关标签/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
最新文章
- 1. No provider available from registry 127.0.0.1:2181 for service com.ddbuy.ser 解决方法
- 2. Qt5.7以上调用虚拟键盘(支持中文)，以及源码修改(可拖动，水平缩放)
- 3. 软件测试面试- 购物车功能测试用例设计
- 4. ElasticSearch（概念篇）：你知道的, 为了搜索…
- 5. redux理解
- 6. gitee创建第一个项目
- 7. 支持向量机之硬间隔（一步步推导，通俗易懂）
- 8. Mysql 异步复制延迟的原因及解决方案
- 9. 如何在运行SEPM配置向导时将不可认的复杂数据库密码改为简单密码
- 10. windows系统下tftp服务器使用
欢迎关注本站公众号,获取更多信息
相关文章
- 1. 如何1分钟内对 Linux 性能快速分析
- 2. linux性能分析
- 3. Linux性能分析
- 4. Linux 性能分析
- 5. Linux | 性能分析系列学习 （1）
- 6. 10条命令，一分钟分析Linux性能问题
- 7. APP性能分析1
- 8. linux性能分析工具
- 9. Linux系统性能分析
- 10. Linux性能分析命令