IO系统性能之一：衡量性能的几个指标

from:http://stor.zol.com.cn/222/2223038_all.html 

做为一个数据库管理员，关注系统的性能是平常最重要的工做之一，而在所关注的各方面的性能只能IO性能倒是最使人头痛的一块，面对着各类生涩的参数和使人眼花缭乱的新奇的术语，再加上存储厂商的忽悠，老是让咱们有种云里雾里的感受。本系列文章试图从基本概念开始对磁盘存储相关的各类概念进行综合概括，让你们可以对IO性能相关的基本概念，IO性能的监控和调整有个比较全面的了解。

　　在这一部分里咱们先舍弃各类结构复杂的存储系统，直接研究一个单独的磁盘的性能问题，藉此了解各个衡量IO系统系能的各个指标以及之间的关系。须要注意的是，本文探讨的仅限于磁盘IO性能，网络IO性能不考虑在内。

　　几个基本的概念

　　在研究磁盘性能以前咱们必须先了解磁盘的结构，以及工做原理。不过在这里就再也不重复说明了，关系硬盘结构和工做原理的信息能够参考维基百科上面的相关词条——Hard disk drive(英文)和硬盘驱动器(中文)。

　　读写IO(Read/Write IO)操做

　　磁盘是用来给咱们存取数据用的，所以当说到IO操做的时候，就会存在两种相对应的操做，存数据时候对应的是写IO操做，取数据的时候对应的是是读IO操做。

　　单个IO操做

　　当控制磁盘的控制器接到操做系统的读IO操做指令的时候，控制器就会给磁盘发出一个读数据的指令，并同时将要读取的数据块的地址传递给磁盘，而后磁盘会将读取到的数据传给控制器，并由控制器返回给操做系统，完成一个写IO的操做;一样的，一个写IO的操做也相似，控制器接到写的IO操做的指令和要写入的数据，并将其传递给磁盘，磁盘在数据写入完成以后将操做结果传递回控制器，再由控制器返回给操做系统，完成一个写IO的操做。单个IO操做指的就是完成一个写IO或者是读IO的操做。

　　随机访问(Random Access)与连续访问(Sequential Access)

　　随机访问指的是本次IO所给出的扇区地址和上次IO给出扇区地址相差比较大，这样的话磁头在两次IO操做之间须要做比较大的移动动做才能从新开始读/写数据。相反的，若是当次IO给出的扇区地址与上次IO结束的扇区地址一致或者是接近的话，那磁头就能很快的开始此次IO操做，这样的多个IO操做称为连续访问。所以尽管相邻的两次IO操做在同一时刻发出，但若是它们的请求的扇区地址相差很大的话也只能称为随机访问，而非连续访问。

　　顺序IO模式(Queue Mode)/并发IO模式(Burst Mode)

　　磁盘控制器可能会一次对磁盘组发出一连串的IO命令，若是磁盘组一次只能执行一个IO命令时称为顺序IO;当磁盘组能同时执行多个IO命令时，称为并发IO。并发IO只能发生在由多个磁盘组成的磁盘组上，单块磁盘只能一次处理一个IO命令。

2单个IO的大小(IO Chunk Size)

　　单个IO的大小(IO Chunk Size)

　　熟悉数据库的人都会有这么一个概念，那就是数据库存储有个基本的块大小(Block Size)，不论是SQL Server仍是Oracle，默认的块大小都是8KB，就是数据库每次读写都是以8k为单位的。那么对于数据库应用发出的固定8k大小的单次读写到了写磁盘这个层面会是怎么样的呢，就是对于读写磁盘来讲单个IO操做操做数据的大小是多少呢，是否是也是一个固定的值?

　　答案是不肯定。首先操做系统为了提升 IO的性能而引入了文件系统缓存(File System Cache)，系统会根据请求数据的状况将多个来自IO的请求先放在缓存里面，而后再一次性的提交给磁盘，也就是说对于数据库发出的多个8K数据块的读操做有可能放在一个磁盘读IO里就处理了。

　　还有对于有些存储系统也是提供了缓存(Cache)的，接收到操做系统的IO请求以后也是会将多个操做系统的 IO请求合并成一个来处理。不论是操做系统层面的缓存仍是磁盘控制器层面的缓存，目的都只有一个，提升数据读写的效率。所以每次单独的IO操做大小都是不同的，它主要取决于系统对于数据读写效率的判断。

　　当一次IO操做大小比较小的时候咱们成为小的IO操做，好比说1K，4K，8K这样的;当一次IO操做的数据量比较的的时候称为大IO操做，好比说32K，64K甚至更大。

　　在咱们说到块大小(Block Size)的时候一般咱们会接触到多个相似的概念，像咱们上面提到的那个在数据库里面的数据最小的管理单位，Oralce称之为块(Block)，大小通常为8K，SQL Server称之为页(Page)，通常大小也为8k。

　　在文件系统里面咱们也能碰到一个文件系统的块，在如今不少的Linux系统中都是4K(经过 /usr/bin/time -v能够看到)，它的做用其实跟数据库里面的块/页是同样的，都是为了方便数据的管理。可是说到单次IO的大小，跟这些块的大小都是没有直接关系的，在英文里单次IO大小一般被称为是IO Chunk Size，不会说成是IO Block Size的。

3IOPS(IO per Second)

　　IOPS(IO per Second)

　　IOPS，IO系统每秒所执行IO操做的次数，是一个重要的用来衡量系统IO能力的一个参数。对于单个磁盘组成的IO系统来讲，计算它的IOPS不是一件很难的事情，只要咱们知道了系统完成一次IO所须要的时间的话咱们就能推算出系统IOPS来。

　　如今咱们就来推算一下磁盘的IOPS，假设磁盘的转速(Rotational Speed)为15K RPM，平均寻道时间为5ms，最大传输速率为40MB/s(这里将读写速度视为同样，实际会差异比较大)。

　　对于磁盘来讲一个完整的IO操做是这样进行的：当控制器对磁盘发出一个IO操做命令的时候，磁盘的驱动臂(Actuator Arm)带读写磁头(Head)离开着陆区(Landing Zone，位于内圈没有数据的区域)，移动到要操做的初始数据块所在的磁道(Track)的正上方，这个过程被称为寻址(Seeking)，对应消耗的时间被称为寻址时间(Seek Time);可是找到对应磁道还不能立刻读取数据，这时候磁头要等到磁盘盘片(Platter)旋转到初始数据块所在的扇区(Sector)落在读写磁头正上方的以后才能开始读取数据，在这个等待盘片旋转到可操做扇区的过程当中消耗的时间称为旋转延时(Rotational Delay);接下来就随着盘片的旋转，磁头不断的读/写相应的数据块，直到完成此次IO所须要操做的所有数据，这个过程称为数据传送(Data Transfer)，对应的时间称为传送时间(Transfer Time)。完成这三个步骤以后一次IO操做也就完成了。

　　在咱们看硬盘厂商的宣传单的时候咱们常常能看到3个参数，分别是平均寻址时间、盘片旋转速度以及最大传送速度，这三个参数就能够提供给咱们计算上述三个步骤的时间。

　　第一个寻址时间，考虑到被读写的数据可能在磁盘的任意一个磁道，既有可能在磁盘的最内圈(寻址时间最短)，也可能在磁盘的最外圈(寻址时间最长)，因此在计算中咱们只考虑平均寻址时间，也就是磁盘参数中标明的那个平均寻址时间，这里就采用当前最多的10krmp硬盘的5ms。

　　第二个旋转延时，和寻址同样，当磁头定位到磁道以后有可能正好在要读写扇区之上，这时候是不须要额外额延时就能够马上读写到数据，可是最坏的状况确实要磁盘旋转整整一圈以后磁头才能读取到数据，因此这里咱们也考虑的是平均旋转延时，对于10krpm的磁盘就是(60s/15k)*(1/2) = 2ms。

　　第三个传送时间，磁盘参数提供咱们的最大的传输速度，固然要达到这种速度是颇有难度的，可是这个速度倒是磁盘纯读写磁盘的速度，所以只要给定了单次 IO的大小，咱们就知道磁盘须要花费多少时间在数据传送上，这个时间就是IO Chunk Size / Max Transfer Rate。

4IOPS计算公式

　　IOPS计算公式

　　如今咱们就能够得出这样的计算单次IO时间的公式：

　　IO Time = Seek Time + 60 sec/Rotational Speed/2 + IO Chunk Size/Transfer Rate

　　因而咱们能够这样计算出IOPS

　　IOPS = 1/IO Time = 1/(Seek Time + 60 sec/Rotational Speed/2 + IO Chunk Size/Transfer Rate)

　　对于给定不一样的IO大小咱们能够得出下面的一系列的数据

　　4K (1/7.1 ms = 140 IOPS)

　　5ms + (60sec/15000RPM/2) + 4K/40MB = 5 + 2 + 0.1 = 7.1

　　8k (1/7.2 ms = 139 IOPS)

　　5ms + (60sec/15000RPM/2) + 8K/40MB = 5 + 2 + 0.2 = 7.2

　　16K (1/7.4 ms = 135 IOPS)

　　5ms + (60sec/15000RPM/2) + 16K/40MB = 5 + 2 + 0.4 = 7.4

　　32K (1/7.8 ms = 128 IOPS)

　　5ms + (60sec/15000RPM/2) + 32K/40MB = 5 + 2 + 0.8 = 7.8

　　64K (1/8.6 ms = 116 IOPS)

　　5ms + (60sec/15000RPM/2) + 64K/40MB = 5 + 2 + 1.6 = 8.6

　　从上面的数据能够看出，当单次IO越小的时候，单次IO所耗费的时间也越少，相应的IOPS也就越大。

　　上面咱们的数据都是在一个比较理想的假设下得出来的，这里的理想的状况就是磁盘要花费平均大小的寻址时间和平均的旋转延时，这个假设实际上是比较符合咱们实际状况中的随机读写，在随机读写中，每次IO操做的寻址时间和旋转延时都不能忽略不计，有了这两个时间的存在也就限制了IOPS的大小。如今咱们考虑一种相对极端的顺序读写操做，好比说在读取一个很大的存储连续分布在磁盘的的文件，由于文件的存储的分布是连续的，磁头在完成一个读IO操做以后，不须要重新的寻址，也不须要旋转延时，在这种状况下咱们能到一个很大的IOPS值，以下

　　4K (1/0.1 ms = 10000 IOPS)

　　0ms + 0ms + 4K/40MB = 0.1

　　8k (1/0.2 ms = 5000 IOPS)

　　0ms + 0ms + 8K/40MB = 0.2

　　16K (1/0.4 ms = 2500 IOPS)

　　0ms + 0ms + 16K/40MB = 0.4

　　32K (1/0.8 ms = 1250 IOPS)

　　0ms + 0ms + 32K/40MB = 0.8

　　64K (1/1.6 ms = 625 IOPS)

　　0ms + 0ms + 64K/40MB = 1.6

　　相比第一组数据来讲差距是很是的大的，所以当咱们要用IOPS来衡量一个IO系统的系能的时候咱们必定要说清楚是在什么状况的IOPS，也就是要说明读写的方式以及单次IO的大小，固然在实际当中，特别是在OLTP的系统的，随机的小IO的读写是最有说服力的。

5传输速度/吞吐率

　　传输速度(Transfer Rate)/吞吐率(Throughput)

　　如今咱们要说的传输速度(另外一个常见的说法是吞吐率)不是磁盘上所代表的最大传输速度或者说理想传输速度，而是磁盘在实际使用的时候从磁盘系统总线上流过的数据量。有了IOPS数据以后咱们是很容易就能计算出对应的传输速度来的

　　Transfer Rate = IOPS * IO Chunk Size

　　仍是那上面的第一组IOPS的数据咱们能够得出相应的传输速度以下

　　4K: 140 * 4K = 560K / 40M = 1.36%

　　8K: 139 * 8K = 1112K / 40M = 2.71%

　　16K: 135 * 16K = 2160K / 40M = 5.27%

　　32K: 116 * 32K = 3712K / 40M = 9.06%

　　能够看出实际上的传输速度是很小的，对总线的利用率也是很是的小。

　　这里必定要明确一个概念，那就是尽管上面咱们使用IOPS来计算传输速度，可是实际上传输速度和IOPS是没有直接关系，在没有缓存的状况下它们共同的决定因素都是对磁盘系统的访问方式以及单个IO的大小。对磁盘进行随机访问时候咱们能够利用IOPS来衡量一个磁盘系统的性能，此时的传输速度不会太大;可是当对磁盘进行连续访问时，此时的IOPS已经没有了参考的价值，这个时候限制实际传输速度倒是磁盘的最大传输速度。所以在实际的应用当中，只会用IOPS来衡量小IO的随机读写的性能，而当要衡量大IO连续读写的性能的时候就要采用传输速度而不能是IOPS了。

6IO响应时间

　　IO响应时间(IO Response Time)

　　最后来关注一下能直接描述IO性能的IO响应时间。IO响应时间也被称为IO延时(IO Latency)，IO响应时间就是从操做系统内核发出的一个读或者写的IO命令到操做系统内核接收到IO回应的时间，注意不要和单个IO时间混淆了，单个IO时间仅仅指的是IO操做在磁盘内部处理的时间，而IO响应时间还要包括IO操做在IO等待队列中所花费的等待时间。

　　计算IO操做在等待队列里面消耗的时间有一个衍生于利托氏定理(Little’s Law)的排队模型M/M/1模型能够遵循，因为排队模型算法比较复杂，到如今尚未搞太明白(若是有谁对M/M/1模型比较精通的话欢迎给予指导)，这里就罗列一下最后的结果，仍是那上面计算的IOPS数据来讲：

　　8K IO Chunk Size (135 IOPS, 7.2 ms)

　　135 => 240.0 ms

　　105 => 29.5 ms

　　75 => 15.7 ms

　　45 => 10.6 ms

　　64K IO Chunk Size(116 IOPS, 8.6 ms)

　　135 => 没响应了……

　　105 => 88.6 ms

　　75 => 24.6 ms

　　45 => 14.6 ms

　　从上面的数据能够看出，随着系统实际IOPS越接近理论的最大值，IO的响应时间会成非线性的增加，越是接近最大值，响应时间就变得越大，并且会比预期超出不少。通常来讲在实际的应用中有一个70%的指导值，也就是说在IO读写的队列中，当队列大小小于最大IOPS的70%的时候，IO的响应时间增长会很小，相对来讲让人比较能接受的，一旦超过70%，响应时间就会戏剧性的暴增，因此当一个系统的IO压力超出最大可承受压力的70%的时候就是必需要考虑调整或升级了。

　　另外补充说一下这个70%的指导值也适用于CPU响应时间，这也是在实践中证实过的，一旦CPU超过70%，系统将会变得受不了的慢。颇有意思的东西。