cpu使用率低负载高，缘由分析

缘由总结
产生的缘由一句话总结就是：等待磁盘I/O完成的进程过多，致使进程队列长度过大，可是cpu运行的进程却不多，这样就体现到负载过大了，cpu使用率低。
下面内容是具体的原理分析：在分析负载为何高以前先介绍下什么是负载、多任务操做系统、进程调度等相关概念。

什么是负载
什么是负载：负载就是cpu在一段时间内正在处理以及等待cpu处理的进程数之和的统计信息，也就是cpu使用队列的长度统计信息，这个数字越小越好（若是超过CPU核心*0.7就是不正常）
负载分为两大部分：CPU负载、IO负载
例如，假设有一个进行大规模科学计算的程序，虽然该程序不会频繁地从磁盘输入输出，可是处理完成须要至关长的时间。由于该程序主要被用来作计算、逻辑判断等处理，因此程序的处理速度主要依赖于cpu的计算速度。此类cpu负载的程序称为“计算密集型程序”。
还有一类程序，主要从磁盘保存的大量数据中搜索找出任意文件。这个搜索程序的处理速度并不依赖于cpu，而是依赖于磁盘的读取速度，也就是输入输出（input/output,I/O）.磁盘越快，检索花费的时间就越短。此类I/O负载的程序，称为“I/O密集型程序”。

什么是多任务操做系统
Linux操做系统可以同时处理几个不一样名称的任务。可是同时运行多个任务的过程当中，cpu和磁盘这些有限的硬件资源就须要被这些任务程序共享。即使很短的时间间隔内，须要一边在这些任务之间进行切换到一边进行处理，这就是多任务。
运行中的任务较少的状况下，系统并非等待此类切换动做的发生。可是当任务增长时，例如任务A正在CPU上执行计算，接下来若是任务B和C也想进行计算，那么就须要等待CPU空闲。也就是说，即使是运行处理某任务，也要等到轮到他时才能运行，此类等待状态就表现为程序运行延迟。

11:48:16 up 34 days, 34 min, 1 user, load average: 9.25, 11.39, 11.11
USER TTY FROM LOGIN@ IDLE JCPU PCPU WHAT
root pts/0 119.40.36.230 10:05 0.00s 0.00s 0.00s w

Load average从左边起依次是过去1分钟、5分钟、15分钟内，单位时间的等待任务数，也就是表示平均有多少任务正处于等待状态。在load average较高的状况下，这就说明等待运行的任务较多，所以轮到该任务运行的等待时间就会出现较大的延迟，即反映了此时负载较高。

进程调度
什么是进程调度：
进程调度也被一些人称为cpu上下文切换意思是：CPU切换到另外一个进程须要保存当前进程的状态并恢复另外一个进程的状态：当前运行任务转为就绪（或者挂起、中断）状态，另外一个被选定的就绪任务成为当前任务。进程调度包括保存当前任务的运行环境，恢复将要运行任务的运行环境。
在linux内核中，每个进程都存在一个名为“进程描述符”的管理表。该进程描述符会调整为按照优先级降序排序，已按合理的顺序运行进程（任务）。这个调整即为进程调度器的工做。
调度器划分并管理进程的状态，如：
等待分配cpu资源的状态。
等待磁盘输入输出完毕的状态。

下面在说一下进程的状态区别：
进程5大状态说明

运行态（running）
只要cpu空闲，任什么时候候均可以运行

可中断睡眠（interruptible）
为恢复时间没法预测的长时间等待状态。如，来自于键盘设备的输入。

不可中断睡眠:（uninterruptible）
主要为短期时的等待状态。例如磁盘输入输出等待。被IO阻塞的进程

就绪态（runnable）
响应暂停信号而运行的中断状态。

僵死态（zombie）
进程都是由父进程建立，并销毁；在父进程没有销毁其子进程，被销毁的时候，其子进程因为没有父进程被销毁，就会转变为僵死态。

下面举例来讲明进程状态转变：
这里有三个进程A、B、C同时运行。首先，每一个进程在生成后都是可运行状态，也就是running状态的开始，而不是如今运行状态，因为在linux内核中没法区别正在运行的状态和可运行的等待状态，下面将可运行状态和正在运行状态都称为running状态。
进程A：running
进程B：running
进程C：running

running的三个进程当即成为调度对象。此时，假设调度器给进程A分配了CPU的运行权限。
进程A：running （正在运行）
进程B：running
进程C：running

进程A分配了CPU，因此进程A开始处理。进程B和C则在此等待进程A迁出CPU。假设进程A进行若干计算以后，须要从磁盘读取数据。那么在A发出读取磁盘数据的请求以后，到请求数据到达以前，将不进行任何工做。此状态称为“因等待I/O操做结束而被阻塞”。在I/O完成处理前，进程A就一直处于等待中，就会转为不可中断睡眠状态（uninterruptible），并不使用CPU。因而调度器查看进程B和进程C的优先级计算结果，将CPU运行权限交给优先级较高的一方。这里假设进程B的优先级高于进程C。
进程A：uninterruptible （等待磁盘输入输出/不可中断状态）
进程B：running （正在运行）
进程C：running

进程B刚开始运行，就须要等待用户的键盘输入。因而B进入等待用户键盘输入状态，一样被阻塞。结果就变成了进程A和进程B都是等待输出，运行进程C。这时进程A和进程B都是等待状态，可是等待磁盘输入输出和等待键盘输入为不一样的状态。等待键盘输入是无限期的事件等待，而读取磁盘则是必须短期内完成的事件等待，这是两种不一样的等待状态。各进程状态以下所示：
进程A：uninterruptible （等待磁盘输入输出/不可中断状态）
进程B：interruptible （等待键盘输入输出/可中断状态）
进程C：running （正在运行）

此次假设进程C在运行的过程当中，进程A请求的数据从磁盘到达了缓冲装置。紧接着硬盘对内核发起中断信号，内核知道磁盘读取完成，将进程A恢复为可运行状态。
进程A：running （正在运行）
进程B：interruptible （等待键盘输入输出/可中断状态）
进程C：running （正在运行）

此后进程C也会变为某种等待状态。如CPU的占用时间超出了上限、任务结束、进入I/O等待。一旦知足这些条件，调度器就能够完成从进程C到进程A的进程状态切换。

负载的意义：
负载表示的是“等待进程的平均数”。在上面的进程状态变换过程当中，除了running状态，其余都是等待状态，那么其余状态都会加入到负载等待进程中吗？
事实证实，只有进程处于运行态（running）和不可中断状态（uninterruptible）才会被加入到负载等待进程中，也就是下面这两种状况的进程才会表现为负载的值。
即使须要当即使用CPU，也还需等待其余进程用完CPU
即使须要继续处理，也必须等待磁盘输入输出完成才能进行

下面描述一种直观感觉的场景说明为何只有运行态（running）和不可中断状态（uninterruptible）才会被加入负载。
如：在很占用CPU资源的处理中，例如在进行动画编码的过程当中，虽然想进行其余相同类型的处理，结果系统反映却变得很慢，还有从磁盘读取大量数据时，系统的反映也一样会变的很慢。可是另外一方面，不管有多少等待键盘输入输出操做的进程，也不会让系统响应变慢。
什么场景会形成CPU低而负载确很高呢？
经过上面的具体分析负载的意义就很明显了，负载总结为一句话就是：须要运行处理但又必须等待队列前的进程处理完成的进程个数。具体来讲，也就是以下两种状况：
等待被受权予CPU运行权限的进程
等待磁盘I/O完成的进程

cpu低而负载高也就是说等待磁盘I/O完成的进程过多，就会致使队列长度过大，这样就体现到负载过大了，但实际是此时cpu被分配去执行别的任务或空闲，具体场景有以下几种。

场景一：磁盘读写请求过多就会致使大量I/O等待
上面说过，cpu的工做效率要高于磁盘，而进程在cpu上面运行须要访问磁盘文件，这个时候cpu会向内核发起调用文件的请求，让内核去磁盘取文件，这个时候会切换到其余进程或者空闲，这个任务就会转换为不可中断睡眠状态。当这种读写请求过多就会致使不可中断睡眠状态的进程过多，从而致使负载高，cpu低的状况。

场景二：MySQL中存在没有索引的语句或存在死锁等状况
咱们都知道MySQL的数据是存储在硬盘中，若是须要进行sql查询，须要先把数据从磁盘加载到内存中。当在数据特别大的时候，若是执行的sql语句没有索引，就会形成扫描表的行数过大致使I/O阻塞，或者是语句中存在死锁，也会形成I/O阻塞，从而致使不可中断睡眠进程过多，致使负载过大。
具体解决方法能够在MySQL中运行show full processlist命令查看线程等待状况，把其中的语句拿出来进行优化。

场景三：外接硬盘故障，常见有挂了NFS，可是NFS server故障
好比咱们的系统挂载了外接硬盘如NFS共享存储，常常会有大量的读写请求去访问NFS存储的文件，若是这个时候NFS Server故障，那么就会致使进程读写请求一直获取不到资源，从而进程一直是不可中断状态，形成负载很高。

做者：wangfs
连接：https://www.jianshu.com/p/347afe9ba9ee来源：简书著做权归做者全部。商业转载请联系做者得到受权，非商业转载请注明出处。