Linux性能优化之CPU优化(一)

时间 2019-11-13

标签 linux 性能优化 cpu 栏目 Linux 繁體版

原文原文链接

前言html

何为性能优化？我的认为，性能优化是为了提升应用程序或系统能力为目的。那么如何才能实现对应用程序的性能调优呢？这里很设计到不少的内容，包括Linux内核、CPU架构以及Linux内核对资源的分配以及管理，了解进程的建立过程等。这方面因为篇幅较多，因此个人文章就不过多介绍。接下来的几篇文章中，都是讲解如何发现应用程序故障根源为目标讲解，这也是每个系统工程师应该具有的能力。废话很少说，我直接进入主题。nginx

经常使用术语web

　　延时：延时是描述操做以后用来等待返回结果的时间。在某些状况下，它能够指的是整个操做时间，等同于响应时间。redis

　　IOPS：每秒发生的输入/输出操做的次数，是数据传输的一个度量方法。对于磁盘的读写，IOPS指的是每秒读写的次数。算法

　　响应时间：通常操做完成的时间。包括用于等待和服务的时间，也包括用来返回结果的时间。apache

　　使用率：对于服务所请求的资源，使用率描述在所给定时间区间内资源的繁忙程度。对于春初资源来讲，使用率指的就是所消耗的存储容量。数组

　　饱和度：指的就是某一资源没法知足服务的排队工做量。缓存

　　吞吐量：评价工做秩序的速率，尤为是在数据传输方面，这个属于用于数据传输速度(字节/秒和比特/秒)。在某些状况下，吞吐量指的是操做的速度。性能优化

Linux内核功能bash

　　CPU调度级别：各类先进的CPU调度算法，非一直存储访问架构(NUMA)；

　　I/O调度界别：I/O调度算法，包括deadline/anticipatory和彻底公平队列(CFQ)；

　　TCP网络阻塞：TCP拥堵算法，容许按需选择；

常见问题

进程、线程和任务之间的区别是什么？

　　进程一般定义为程序的执行。用以执行用户级别程序的环境。它包括内存地址空间、文件描述符、线程栈和寄存器。
　　线程是某一进程中单独运行的程序。也就是说线程在进程之中。
　　任务是程序完成的某一活动,可使一个进程,也能够是一个线程。

参考链接：http://blog.chinaunix.net/uid-25100840-id-271078.html

什么是上下文切换？

　　执行一段程序代码，实现一个功能的过程介绍，当获得CPU的时候，相关的资源必须也已经就位,就是显卡、内存、GPS等,而后CPU开始执行。这里除了CPU之外全部的就构成了这个程序的执行环境，也就是咱们所定义的程序上下文。当这个程序执行完或者分配给他的CPU执行时间用完了,那它就要被切换出去，等待下一次CPU的临幸。在被切换出去的最后一步工做就是保存程序上下文，由于这个是下次他被CPU临幸的运行环境，必须保存。

I/O密集型和CPU密集型工做负载之间的区别？

　　I/O密集型指的是系统的CPU耗能相对硬盘/内存的耗能能要好不少,此时,系统运做,大部分的情况是 CPU 在等 I/O(硬盘/内存)的读/写,此时CPU负载不高。CPU密集型指的是系统的硬盘/内存耗能相对CPU的耗能要好不少,此时,系统运做,大部分的情况是 CPU负载 100%,CPU 要读/写 I/O (硬盘/内存),I/O在很短的时间就能够完成,而CPU还有许多运算要处理,CPU负载很高。通常而言CPU占用率至关高,大部份时间用来作计算、逻辑判断等CPU动做的程序。

应用程序性能技术

1.选择I/O尺寸
　　执行I/O的开销包括初始化缓冲区、系统调用、上下文切换、分配内核元数据、检查进程权限和限制、映射地址到设备、执行内核和驱动代码来执行I/O,以及在最后释放元数据和缓冲区。增长I/O尺寸是应用程序提升吞吐量的经常使用策略。
2.缓存
　　操做系统用缓存提升文件系统的读性能和内存的分配性能,应用程序使用缓存也处于相似的缘由。将常常执行的操做结果保存在本地缓存中以备后用，而非老是执行开销较高的操做。
3.缓冲区
　　为了提升写操做性能，数据在送入下一层级以前会合并并放在缓冲区中。这样会增长写延时，由于第一次写入缓冲区后，在发送以前，还要等待后续的写入。
4. 并发和并行
　　并行：装在和开始执行多个可运行程序的能力（好比,同时接电话和吃饭）。为了利用多核处理器系统的优点，应用程序须要在同一时间运行在多颗CPU上,这种方式称为并行。应用程序经过多进程或多线程实现。
　　并发：有处理多个任务的能力，不必定要同时。好比,接完电话在去吃饭,存在资源抢占;
　　同步原语：同步原语监管内存的访问,当不容许访问时，就会引发等待时间(延时)。常见三种类型：
　　mutex锁：只有锁持有者才能操做，其余线程会阻塞并等待CPU；
　　自旋锁：自旋锁容许锁持有者操做，其余的须要自旋锁的线程会在CPU上循环自选,检查锁是否被释放。虽然这样能够提供低延时的访问，被阻塞的线程不会离开CPU，时刻准备着运行知道锁可用，可是线程自旋、等待也是对CPU资源的浪费。
　　读写锁：读/写锁经过容许多个读者或者只容许一个写者而没有读者，来保证数据的完整性。
　　自适应自旋锁：低延迟的访问而不浪费CPU资源，是mutex锁和自旋锁的混合。
5.绑定CPU

关于CPU性能分析

uptime:
　　系统负载，经过汇总正在运行的线程数和正在排队等待运行的线程数计算得出。分别反映1/5/15分钟之内的负载。如今的平均负载不只用来表示CPU余量或者饱和度，也不能单从这个值推断出CPU或者磁盘负载。

vmstat:
　　虚拟内存统计信息命令。最后几列打印系统全局范围内的CPU使用状态，在第一列显示可运行进程数。以下所示：

[root@zbredis-30104 ~]# vmstat 
procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu-----
r  b   swpd   free   buff   cache   si   so    bi    bo   in   cs us sy id  wa  st
0  0   0    14834208 158384 936512  0     0     0     0    1   3   0  0 100  0  0

提示：

　　r: 运行队列长度和正在运行的线程数；

　　b: 表示阻塞的进程数；

　　swpd: 虚拟内存已使用的大小，若是大于0，表示你的机器物理内存不足了，若是不是程序内存泄露的缘由，那么你该升级内存了或者把耗内存的任务迁移到其余机器；

　　si: 每秒从磁盘读入虚拟内存的大小，若是这个值大于0，表示物理内存不够用或者内存泄露了，要查找耗内存进程解决掉。个人机器内存充裕，一切正常。

　　so: 每秒虚拟内存写入磁盘的大小，若是这个值大于0，同上；

　　bi: 块设备每秒接收的块数量，这里的块设备是指系统上全部的磁盘和其余块设备，默认块大小是1024byte，我本机上没什么IO操做，因此一直是0，可是我曾在处理拷贝大量数据(2-3T)的机器上看过能够达到140000/s，磁盘写入速度差很少140M每秒；

　　bo: 块设备每秒发送的块数量，例如咱们读取文件，bo就要大于0。bi和bo通常都要接近0，否则就是IO过于频繁，须要调整；

　　in: 每秒CPU的中断次数，包括时间中断；

　　cs: 每秒上下文切换次数，例如咱们调用系统函数，就要进行上下文切换，线程的切换，也要进程上下文切换，这个值要越小越好，太大了，要考虑调低线程或者进程的数目,例如在apache和nginx这种web服务器中，咱们通常作性能测试时会进行几千并发甚至几万并发的测试，选择web服务器的进程能够由进程或者线程的峰值一直下调，压测，直到cs到一个比较小的值，这个进程和线程数就是比较合适的值了。系统调用也是，每次调用系统函数，咱们的代码就会进入内核空间，致使上下文切换，这个是很耗资源，也要尽可能避免频繁调用系统函数。上下文切换次数过多表示你的CPU大部分浪费在上下文切换，致使CPU干正经事的时间少了，CPU没有充分利用，是不可取的。

　　st: cpu在虚拟化环境上在其余租户上的开销;

mpstat:
　　多处理器统计信息工具，可以报告每一个CPU的统计信息。

[root@zbredis-30104 ~]# mpstat -P ALL 1
Linux 2.6.32-573.el6.x86_64 (zbredis-30104) 	09/14/2017 	_x86_64_	(12 CPU)

03:14:03 PM  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
03:14:04 PM  all    0.00    0.00    0.08    0.00    0.00    0.00    0.00    0.00   99.92
03:14:04 PM    0    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00
03:14:04 PM    1    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00
03:14:04 PM    2    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00
03:14:04 PM    3    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00
03:14:04 PM    4    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00
03:14:04 PM    5    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00
03:14:04 PM    6    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00
03:14:04 PM    7    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00
03:14:04 PM    8    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00
03:14:04 PM    9    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00
03:14:04 PM   10    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00
03:14:04 PM   11    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00

提示：

　　irq: 硬件中断CPU用量；

　　sofr: 软件中断CPU用量；
　　steal: 耗费在服务其余租户的时间；
　　guest: 花在访客虚拟机的时间；

　　重要关注列有%user/%sys/%idle。显示了每一个CPU的用量以及用户态和内核态的时间比例。能够根据这些值查看那些跑到100%使用率（%user + %sys）的CPU，而其余CPU并未跑满多是由单线程应用程序的负载或者设备中断映射形成。

sar:

　　系统活动报告器。用来观察当前的活动，以及配置用以归档和报告历史统计信息。基本上全部资源使用的信息，它都可以查看到。具体的参数说明以下所示：

　　-A: 全部报告的总和,相似"-bBdqrRSuvwWy -I SUM -I XALL -n ALL -u ALL -P ALL"参数一块儿使用；
　　-b: 显示I/O和传输速率的统计信息；
　　-B：显示分页状态；
　　-d：硬盘使用报告；
　　-r：内存和交换空间的使用统计；
　　-g：串口I/O的状况；
　　-b：缓冲区使用状况；
　　-a：文件读写状况；
　　-c：系统调用状况；
　　-n: 统计网络信息；
　　-q：报告队列长度和系统平均负载；
　　-R：进程的活动状况；
　　-y：终端设备活动状况；
　　-w：系统交换活动；
　　-x { pid | SELF | ALL }：报告指定进程ID的统计信息，SELF关键字是sar进程自己的统计，ALL关键字是全部系统进程的统计；

经常使用参数组合：

　　查看CPU:

　　总体CPU统计— sar -u 3 2,表示采样时间为3秒,采样次数为2次；
　　各个CPU统计— sar -P ALL 1 1,表示采样时间为1秒,次数为1次；

　　　　1. 若 %iowait 的值太高，表示硬盘存在I/O瓶颈；
　　　　2. 若 %idle 的值高但系统响应慢时，有多是 CPU 等待分配内存，此时应加大内存容量；
　　　　3. 若 %idle 的值持续低于1，则系统的 CPU 处理能力相对较低，代表系统中最须要解决的资源是 CPU；

　　查看内存:

　　查看内存使用状况 - sar -r 1 2

　　　　kbcommit：保证当前系统所须要的内存,即为了确保不溢出而须要的内存(RAM+swap)；
　　　　%commit：这个值是kbcommit与内存总量(包括swap)的一个百分比；

　　pidstat:主要用于监控所有或指定进程占用系统资源的状况，如CPU，内存、设备IO、任务切换、线程等。

　　cpu使用状况统计
　　　　执行 "pidstat -u" 与单独执行 "pidstat"
　　内存使用状况统计
　　　　pidstat -r -p PID 1

　　　　minflt/s: 每秒次缺页错误次数(minor page faults)，次缺页错误次数意即虚拟内存地址映射成物理内存地址产生的page fault次数;
　　　　majflt/s: 每秒主缺页错误次数(major page faults)，当虚拟内存地址映射成物理内存地址时，相应的page在swap中，这样的page fault为major page fault，通常在内存使用紧张时产生;
　　IO状况统计
　　　　pidstat -d 1 2

关于CPU方面的优化

　　1.编译器优化
　　2.调度优先级和调度类（设置nice值）
　　　　例如,nice -n 19 command
　　　　renice 更改已经运行进程的优先级；
　　　　chrt 命令显示并直接修改优先级和调度策略；
　　3.进程绑定（一个进程能够绑定在一个或者多个CPU上）
　　　　例如，taskset -pc 0-3 10790

　　4.独占CPU 　　5.BIOS调优　　　　启用睿频