【人间995】【Linux性能优化】系统中出现大量不可中断进程和僵尸进程怎么办？

哔前哔言

• 始终践行费曼学习法
• 理解系统知识原理
• 掌握性能分析工具
• 多实践，多思考，多提问
• 仅记录我的的学习记录，欢迎指点纠正

一、进程状态

• R[Running/Runnable]:正在运行或正在等待运行的进程
• D[Disk Sleep]:不可中断状态睡眠，通常表示，进程正在跟硬件交互，而且交互过程当中不容许被其余进程或中断打断
• Z[Zombie]僵尸进程，也就是该进程已结束，父进程未将其资源回收
• S[Interruptible Sleep]可中断状态睡眠，表示进程因等待某个事件而被系统挂起。当进程等待事件发生时，会被唤醒并进入R状态
• I[Idle]空闲状态，用在不可中断睡眠的内核线程上。D状态会致使平均负载升高，I状态的进程不会。
• T/t[Stopped/Traced]进程处于暂停或跟踪状态[跟踪状态--特殊暂停状态]
• X[Dead]进程已消亡，top/ps命令没法观察到消亡的进程

二、不可中断状态

进程正在硬件进行交互时

•  正常状况下：不可中断短期内就会结束，此时短时的不可中断状态进程，咱们通常能够忽略
• 系统/硬件发生故障：进程就会保持长久的不可中断状态，须要注意，系统是否发生I/O性能的问题

三、僵尸进程

• 正常状况下：父进程建立子进程，而后经过系统调用等待子进程结束，回收子进程资源，且子进程结束时，向父进程发送sigChld信号，父进程注册sigChld信号处理函数，异步回收资源
• 异常状况下：父进程没有处理子进程，或子进程执行快于父进程，就容易致使子进程变成僵尸进程

四、总结

4.一、大量不可中断进程和僵尸进程的处理方法：

• iowait 过高，致使平均负载升高，且负载达到系统cpu的个数
• 僵尸进程在不断增多

4.二、分析iowait升高的缘由

• 用dstat 命令同时查看cpu和I/O对比状况，经过结果查看发现iowait 升高时，磁盘读请求升高
• 定位磁盘读的进程，使用top命令查看不可中断状态的进程PID
• 查看对应进程的磁盘读写状况，使用pidstat -d 查看I/O使用状况，发现处于不可中断状态的进程都没有进行磁盘读写
• 继续使用pidstat 命令，查看全部进程的I/O状况，能够定位到磁盘读写的进程
• 使用strace 查看进程的系统调用strace -p <pid>
• ps aux | grep <pid> 发现进程处于Z状态，已变成僵尸状态
• 若top 和pidstat 都不能找出问题，使用事件记录的动态追踪工具 perf record  & perf report

4.三、僵尸进程
    僵尸进程产生是由于父进程没有回收子进程的资源，因此能够经过使用pstree 查看父进程，而后查看父进程的源码检查

案例实践

一、运行案例应用

docker run --privileged --name=app -itd feisky/app:iowait

二、输入Ps命令，查看案例是否正常启动。命令：ps aux | grep /app

• S 可中断睡眠状态
• D 不可中断睡觉状态
• Ss+  ,其中，s表示这个进程是一个会话领导进程 ；+表示前台进程组

进程组：一组互相关联的进程，好比每一个子进程都是父进程所在组的成员
会话：指共享同一个控制终端的一个或多个进程组

三、使用top命令，查看下进程状况

ioWait

pstat 1 10   #每1秒输出10组

top命令，观察D状态的进程

pidstat -d  输出I/O使用状况

因此，咱们从 pidstat 的输出中拿到进程的 PID 号，好比 6082，而后在终端中运行 strace 命令，并用 -p 参数指定 PID 号：

$ strace -p 97741
strace: attach: ptrace(PTRACE_SEIZE, 97741``): Operation not permitted

这儿出现了一个奇怪的错误，strace 命令竟然失败了，而且命令报出的错误是没有权限。

按理来讲，咱们全部操做都已是以 root 用户运行了，为何还会没有权限呢？你也能够先想一下，碰到这种状况，你会怎么处理呢？

通常遇到这种问题时，我会先检查一下进程的状态是否正常。

好比，继续在终端中运行 ps 命令，并使用 grep 找出刚才的 6082 号进程：

$ ps aux | grep 97741  
root      97741 0.0  0.0      0     0 pts/0    Z+   13:43   0:00 [app] <defunct>

使用perf record -g 
    perf report  查看记录

pstress 命令，查找父进程