某个应用的CPU使用率竟然达到100%，我该怎么办？

本文是经过学习极客时间专栏《Linux性能优化实战》05 | 基础篇：某个应用的CPU使用率竟然达到100%，我该怎么办？

CPU 使用率

---

为了维护 CPU 时间，Linux 经过事先定义的节拍率（内核中表示为 HZ），触发时间中断，并使用全局变量 Jiffies 记录了开机以来的节拍数。每发生一次时间中断，Jiffies 的值就加 1。
节拍率 HZ 是内核的可配选项，能够设置为 100、250、1000 等。不一样的系统可能设置不一样数值，你能够经过查询 /boot/config 内核选项来查看它的配置值。好比在个人系统中，节拍率设置成了 250，也就是每秒钟触发 250 次时间中断。

$ grep 'CONFIG_HZ=' /boot/config-$(uname -r)
CONFIG_HZ=250

同时，正由于节拍率 HZ 是内核选项，因此用户空间程序并不能直接访问。为了方便用户空间程序，内核还提供了一个用户空间节拍率 USER_HZ，它老是固定为 100，也就是 1/100 秒。这样，用户空间程序并不须要关心内核中 HZ 被设置成了多少，由于它看到的老是固定值 USER_HZ。
Linux 经过 /proc 虚拟文件系统，向用户空间提供了系统内部状态的信息，而 /proc/stat 提供的就是系统的 CPU 和任务统计信息。比方说，若是你只关注 CPU 的话，能够执行下面的命令：

# 只保留各个CPU的数据
$ cat /proc/stat | grep ^cpu
cpu 280580 7407 286084 172900810 83602 0 583 0 0 0
cpu0 144745 4181 176701 86423902 52076 0 301 0 0 0
cpu1 135834 3226 109383 86476907 31525 0 282 0 0 0

这里的输出结果是一个表格。其中，第一列表示的是 CPU 编号，如 cpu0、cpu1 ，而第一行没有编号的 cpu ，表示的是全部 CPU 的累加。其余列则表示不一样场景下 CPU 的累加节拍数，它的单位是 USER_HZ，也就是 10 ms（1/100 秒），因此这其实就是不一样场景下的 CPU 时间。
固然，这里每一列的顺序并不须要你背下来。你只要记住，有须要的时候，查询 man proc 就能够。不过，你要清楚 man proc 文档里每一列的涵义，它们都是 CPU 使用率相关的重要指标，你还会在不少其余的性能工具中看到它们。下面，我来依次解读一下。

• user（一般缩写为 us），表明用户态 CPU 时间。注意，它不包括下面的 nice 时间，但包括了 guest 时间。
• nice（一般缩写为 ni），表明低优先级用户态 CPU 时间，也就是进程的 nice 值被调整为 1-19 之间时的 CPU 时间。这里注意，nice 可取值范围是 -20 到 19，数值越大，优先级反而越低。
• system（一般缩写为 sys），表明内核态 CPU 时间。
• idle（一般缩写为 id），表明空闲时间。注意，它不包括等待 I/O 的时间（iowait）。
• iowait（一般缩写为 wa），表明等待 I/O 的 CPU 时间。
• irq（一般缩写为 hi），表明处理硬中断的 CPU 时间。
• softirq（一般缩写为 si），表明处理软中断的 CPU 时间。
• steal（一般缩写为 st），表明当系统运行在虚拟机中的时候，被其余虚拟机占用的 CPU 时间。
• guest（一般缩写为 guest），表明经过虚拟化运行其余操做系统的时间，也就是运行虚拟机的 CPU 时间。
• guest_nice（一般缩写为 gnice），表明以低优先级运行虚拟机的时间。

而咱们一般所说的 CPU 使用率，就是除了空闲时间外的其余时间占总 CPU 时间的百分比，用公式来表示就是：

怎么查看 CPU 使用率

top 和 ps 是最经常使用的性能分析工具：top 显示了系统整体的 CPU 和内存使用状况，以及各个进程的资源使用状况。ps 则只显示了每一个进程的资源使用状况。

# 默认每3秒刷新一次
$ top
top - 11:58:59 up 9 days, 22:47, 1 user, load average: 0.03, 0.02, 0.00
Tasks: 123 total, 1 running, 72 sleeping, 0 stopped, 0 zombie
%Cpu(s): 0.3 us, 0.3 sy, 0.0 ni, 99.3 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
KiB Mem : 8169348 total, 5606884 free, 334640 used, 2227824 buff/cache
KiB Swap: 0 total, 0 free, 0 used. 7497908 avail Mem
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 
1 root 20 0 78088 9288 6696 S 0.0 0.1 0:16.83 systemd 
2 root 20 0 0 0 0 S 0.0 0.0 0:00.05 kthreadd 
4 root 0 -20 0 0 0 I 0.0 0.0 0:00.00 kworker/0:0H
...

这个输出结果中，top 默认显示的是全部 CPU 的平均值，这个时候你只须要按下数字 1 ，就能够切换到每一个 CPU 的使用率了。
继续往下看，空白行以后是进程的实时信息，每一个进程都有一个 %CPU 列，表示进程的 CPU 使用率。它是用户态和内核态 CPU 使用率的总和，包括进程用户空间使用的 CPU、经过系统调用执行的内核空间 CPU 、以及在就绪队列等待运行的 CPU。在虚拟化环境中，它还包括了运行虚拟机占用的 CPU。
用 pidstat 吧，它正是一个专门分析每一个进程 CPU 使用状况的工具。
下面的 pidstat 命令，就间隔 1 秒展现了进程的 5 组 CPU 使用率，包括：

• 用户态 CPU 使用率 （%usr）；
• 内核态 CPU 使用率（%system）；
• 运行虚拟机 CPU 使用率（%guest）；
• 等待 CPU 使用率（%wait）；
• 以及总的 CPU 使用率（%CPU）。

最后的 Average 部分，还计算了 5 组数据的平均值。

# 每隔1秒输出一组数据，共输出5组
$ pidstat 1 5
15:56:02 UID PID %usr %system %guest %wait %CPU CPU Command
15:56:03 0 15006 0.00 0.99 0.00 0.00 0.99 1 dockerd
...
Average: UID PID %usr %system %guest %wait %CPU CPU Command
Average: 0 15006 0.00 0.99 0.00 0.00 0.99 - dockerd

CPU 使用率太高怎么办？

使用 perf 分析 CPU 性能问题，我来讲两种最多见、也是我最喜欢的用法。
第一种常见用法是 perf top，相似于 top，它可以实时显示占用 CPU 时钟最多的函数或者指令，所以能够用来查找热点函数，使用界面以下所示：

$ perf top
Samples: 833 of event 'cpu-clock', Event count (approx.): 97742399
Overhead Shared Object Symbol 
    7.28% perf [.] 0x00000000001f78a4 
    4.72% [kernel] [k] vsnprintf 
    4.32% [kernel] [k] module_get_kallsym 
    3.65% [kernel] [k] _raw_spin_unlock_irqrestore
...

输出结果中，第一行包含三个数据，分别是采样数（Samples）、事件类型（event）和事件总数量（Event count）。好比这个例子中，perf 总共采集了 833 个 CPU 时钟事件，而总事件数则为 97742399。
再往下看是一个表格式样的数据，每一行包含四列，分别是：

• 第一列 Overhead ，是该符号的性能事件在全部采样中的比例，用百分比来表示。
• 第二列 Shared ，是该函数或指令所在的动态共享对象（Dynamic Shared Object），如内核、进程名、动态连接库名、内核模块名等。
• 第三列 Object ，是动态共享对象的类型。好比 [.] 表示用户空间的可执行程序、或者动态连接库，而 [k] 则表示内核空间。
• 最后一列 Symbol 是符号名，也就是函数名。当函数名未知时，用十六进制的地址来表示。

仍是以上面的输出为例，咱们能够看到，占用 CPU 时钟最多的是 perf 工具自身，不过它的比例也只有 7.28%，说明系统并无 CPU 性能问题。 perf top 的使用你应该很清楚了吧。
接着再来看第二种常见用法，也就是 perf record 和 perf report。 perf top 虽然实时展现了系统的性能信息，但它的缺点是并不保存数据，也就没法用于离线或者后续的分析。而 perf record 则提供了保存数据的功能，保存后的数据，须要你用 perf report 解析展现。

$ perf record # 按Ctrl+C终止采样
[ perf record: Woken up 1 times to write data ]
[ perf record: Captured and wrote 0.452 MB perf.data (6093 samples) ]

$ perf report # 展现相似于perf top的报告

测试一下这个 Nginx 服务的性能

# 并发10个请求测试Nginx性能，总共测试100个请求
$ ab -c 10 -n 10000 http://192.168.0.10:10000/
This is ApacheBench, Version 2.3 <$Revision: 1706008 $>
Copyright 1996 Adam Twiss, Zeus Technology Ltd, 
...
Requests per second: 11.63 [#/sec] (mean)
Time per request: 859.942 [ms] (mean)
...

新开一个终端运行 top 命令，并按下数字 1 ，切换到每一个 CPU 的使用率：

$ top

怎么知道是 php-fpm 的哪一个函数致使了 CPU 使用率升高呢？咱们来用 perf 分析一下。在第一个终端运行下面的 perf 命令：

# -g开启调用关系分析，-p指定php-fpm的进程号21515
$ perf top -g -p 21515

小结

CPU 使用率是最直观和最经常使用的系统性能指标，更是咱们在排查性能问题时，一般会关注的第一个指标。因此咱们更要熟悉它的含义，尤为要弄清楚用户（%user）、Nice（%nice）、系统（%system） 、等待 I/O（%iowait） 、中断（%irq）以及软中断（%softirq）这几种不一样 CPU 的使用率。好比说：

• 用户 CPU 和 Nice CPU 高，说明用户态进程占用了较多的 CPU，因此应该着重排查进程的性能问题。
• 系统 CPU 高，说明内核态占用了较多的 CPU，因此应该着重排查内核线程或者系统调用的性能问题。
• I/O 等待 CPU 高，说明等待 I/O 的时间比较长，因此应该着重排查系统存储是否是出现了 I/O 问题。
• 软中断和硬中断高，说明软中断或硬中断的处理程序占用了较多的 CPU，因此应该着重排查内核中的中断服务程序。

碰到 CPU 使用率升高的问题，你能够借助 top、pidstat 等工具，确认引起 CPU 性能问题的来源；再使用 perf 等工具，排查出引发性能问题的具体函数。思考