【转】fio使用指南

fio使用指南

这个文档是对fio-2.0.9 HOWTO文档的翻译,fio的参数太多了,翻译这个文档时并无测试每个参数的功能和使用方法,只有少许参数作了试验,大部分的参数采用的是根据字面翻译或是我的理解的翻译,必然有些出入,先发出来,之后有使用的时候再被充和修改。在另外一个文档中会对fio自带的实例进行分析,可能会更为清晰一些。
 fio这个工具实在太强大了,列举一下他的NB之处吧
 1)支持十几种存储引擎,能够自定义
 2)自带作图工具,调用gnuplot作图
 3)支持几乎全部的存储描述参数
 4)大量对CPU,内存,进程/线程,文件,IO特性的配置
 5)压缩,trace回放,。。。这些都包含,灵活的配置
 

简介

fio最初是用来节省为特定负载写专门测试程序,或是进行性能测试,或是找到和重现bug的时间。写这么一个测试应用是很是浪费时间的。所以须要一个工具来模拟给定的io负载,而不用重复的写一个又一个的特定的测试程序。可是test负载很难定义。由于可能会产生不少进程或线程,他们每个都用他们本身的方式产生io。fio须要足够灵活得来模拟这些case。
 

典型的fio的工做过程

1)写一个job文件来描述要访真的io负载。一个job文件能够控制产生任意数目的线程和文件。典型的job文件有一个global段(定义共享参数),一个或多少job段(描述具体要产生的job)。
2)运行时,fio从文件读这些参数,作处理,并根据这些参数描述,启动这些访真线程/进程
 

运行fio

运行方式:
$fio job_file
它会根据job_file的内容来运行。你能够在命令行中指定多个job file,fio进串行化运行这些文件。至关于在同一个job file不一样的section之间使用了stonewall参数。
若是某个job file只包含一个job,能够在命令行中给出参数,来直接运行,再也不须要读取job file。命令行参数同job file参数的格式是同样的。好比,在job file中的参数iodepth=2,在命令行中能够写为–iodepth 2 或是 –iodepth=2.
fio不须要使用root来支行,除非使用到的文件或是设备须要root权限。一些选项可能会被限制,好比内存锁,io调度器切换,或是nice value降级。

 

job文件格式

job file格式采用经典的ini文件,[]中的值表示job name,能够采用任意的ASCII字符,‘global’除外,global有特殊的意义。Global section描述了job file中各个job的默认配置值。一个job section能够覆盖global section中的参数,一个job file能够包含几个global section.一个job只会受到它上面的global section的影响。‘;’和‘#’能够用做注释
两个进程,分别从一个从128MB文件中,随机读的job file.
;–start job file–
[global]
rw=randread
size=128m
 
[job1]
 
[job2]
;–end job file–
job1和job2 section是空的,由于全部的描述参数是共享的。没有给出filename=选项,fio会为每个job建立一个文件名,若是用命令写,则是:
$fio –name=global –rw=randread –size=128m –name=job1 –name=job2
 
多个进程随机写文件的实例
;–start job file –
[random-writers]
ioengine=libaio
iodepth=4
rw=randwrite
bs=32k
direct=0
size=64m
numjobs=4
;–end job file–
 
没有global section,只有一个job section.
上一个实例的说明:采用async,每个文件的队列长度为4,采用随机写,采用32k的块,采用非direct io,共有4个进程,每一个进程随机写64M的文件。也能够采用下面的命令
$fio –name=random-writers –ioengine=libaio –iodepth=4 –rw=randwrite –bs=32k –direct=0 –size=64m –numjobs=4
 

环境变量

在job file中支持环境变量扩展。相似于${VARNAME}能够做为选项的值(在=号右边)。
实例:
$SIZE=64m  NUMJOBS=4 fio jobfile,fio
;–start job files–
[random-writers]
rw=randwrite
size=${SIZE}
numjobs=${NUMJOBS}
;–end job file–
 
将被扩展为
;–start job file–
[random-writers]
rw=randwrite
size=64m
numjobs=4
;–end job file–
 

保留keywords

fio有一些保留keywords,在内部将其替换成合适的值,这些keywords是:
$pagesize   当前系统的页大小
$mb_memory 系统的总内存的大小,以MB为单位
$ncpus 在线有效的cpu数
这引发在命令行中和job file中均可以用,当job运行的时候,会自动的用当前系统的徝进行替换。支持简单的数学计算,如:
size=8*$mb_memory
 

类型

str 字符串
time时间(int)
int 整数
bool
irange 整数范围
float_list 符点数列
 

一个job包含的基本的参数

1)IO类型
向文件发起的IO类型。
<1>readwrite=str,rw=str
read 顺序读
write 顺序写
randwrite 随机写
randread 随机读
rw,readwrite 顺序混合读写
randrw 随机混合读写
[参数备注]
对于混合io类型,混认是50%的读,50%的写,对于特定的io类型,由于速度可能不一样,结果可能会有稍有误差.
经过在在str以后加“:<nr>”能够配置在执行一下获取offset操做以前要执行的IO次数。For a random read, it would lik ’rw=randread:8′ for passing in an offset modifier with a value of 8.若是后缀用于顺序IO类型的话,,那么将在每次IO以后,将这个值加到产生的offset以后。e.g. rw=write:4k每次写以后将会跳过4K。它将顺序的IO转化为带有洞的顺序IO。参考‘rw_sequencer’选项。
<2>rw_sequencer=str
若是rw=<str>后有offset修饰的话,这个选项能够控制这个数字<nr>如何修饰产生的IO offset.能够接收的值是:
sequential 产生顺序的offset
identical 产生相同的offset
[参数备注]
‘sequential’仅用于随机IO。一般状况下,fio在每次IO以后,将会生成一个新的随机IO。e.g.rw=randread:8,将会在每8次IO以后执行seek,而不是每次IO以后。顺序IO已是顺序的,再设置为‘sequential’将不会产生任何不一样。‘identical’会产生同‘sequential’类似的行为,只是它会连续产生8次相同的offset,而后生成一个新的offset.
 
2)block size
产生的IO单元的大小,能够是一个孤立的值,也能够是一个范围。
<1>blocksize=int,bs=int
单次IO的block size,默认为4k。若是是单个值的话,将会对读写都生效。若是是一个逗号,再跟一个int值的话,则是仅对于写有效。也就是说,格式能够是bs=read_end_write或是bs=read,write。e.g. bs=4k,8k读使用4k的块,写使用8k的块。e.g.bs=,8k将使得写采用8k的块,读采用默认的值。
 
3)IO size
将会读/写多少数据
<1>size=int
这个job IO总共要传输的数据的大小。FIO将会执行到全部的数据传输完成,除非设定了运行时间(‘runtime’选项)。除非有特定的‘nrfiles’选项和‘filesize’选项被设置,fio将会在job定义的文件中平分这个大小。若是这个值不设置的话,fio将会使用这个文件或设备的总大小。若是这些文件不存在的话,size选项必定要给出。也能够给出一个1到100的百分比。e.g. size=20%,fio将会使用给定的文件或设备的20%的空间。
 
4)IO引擎
发起IO的方式。
<1>ioengine=str
定义job向文件发起IO的方式
sync 基本的read,write.lseek用来做定位
psync 基本的pread,pwrite
vsync 基本的readv,writev
libaio Linux专有的异步IO。Linux仅支持非buffered IO的队列行为。
posixaio glibc posix异步IO
solarisaio solaris独有的异步IO
windowsaio windows独有的异步IO
mmap 文件经过内存映射到用户空间,使用memcpy写入和读出数据
splice 使用splice和vmsplice在用户空间和内核之间传输数据
syslet-rw 使用syslet 系统调用来构造普通的read/write异步IO
sg SCSI generic sg v3 io.能够是使用SG_IO ioctl来同步,或是目标是一个sg字符设备,咱们使用read和write执行异步IO
null 不传输任何数据,只是假装成这样。主要用于训练使用fio,或是基本debug/test的目的。
net 根据给定的host:port经过网络传输数据。根据具体的协议,hostname,port,listen,filename这些选项将被用来讲明创建哪一种链接,协议选项将决定哪一种协议被使用。
netsplice 像net,可是使用splic/vmsplice来映射数据和发送/接收数据。
cpuio 不传输任何的数据,可是要根据cpuload=和cpucycle=选项占用CPU周期.e.g. cpuload=85将使用job不作任何的实际IO,但要占用85%的CPU周期。在SMP机器上,使用numjobs=<no_of_cpu>来获取须要的CPU,由于cpuload仅会载入单个CPU,而后占用须要的比例。
guasi GUASI IO引擎是通常的用于异步IO的用户空间异步系统调用接口
rdma RDMA I/O引擎支持RDMA内存语义(RDMA_WRITE/RDMA_READ)和通道主义(Send/Recv)用于InfiniBand,RoCE和iWARP协议
external 指明要调用一个外部的IO引擎(二进制文件)。e.g. ioengine=external:/tmp/foo.o将载入/tmp下的foo.o这个IO引擎
 
5)IO depth
若是IO引擎是异步的,这个指定咱们须要保持的队列深度
<1>iodepth=int
加于文件之上的保持的IO单元。默认对于每一个文件来讲是1,能够设置一个更大的值来提供并发度。iodepth大于1不会影响同步IO引擎(除非verify_async这个选项被设置)。even async engines may impose OS restrictions causing the desired depth not to be achieved.这会在Linux使用libaio而且设置direct=1的时候发生,由于buffered io在OS中不是异步的。在外部经过相似于iostat这些工具来观察队列深度来保证这个IO队列深度是咱们想要的。这个能够参考褚霸的博客http://blog.yufeng.info/archives/2104
 
6)IO type
<1>direct=bool
true,则标明采用non-buffered io.同O_DIRECT效果同样。ZFS和Solaris不支持direct io,在windows同步IO引擎不支持direct io
<2>buffered=bool
true,则标明采用buffered io。是direct的反义词,默认是true
 
7)Num files
负载将分发到几个文件之中
<1>nrfiles=int
用于这个job的文件数目,默认为1
<2>openfiles=int
在同一时间能够同时打开的文件数目,默认同nrfiles相等,能够设置小一些,来限制同时打开的文件数目。
 
8)Num threads
<1>numjobs=int
建立特定数目的job副本。多是建立大量的线程/进程来执行同一件事。咱们将这样一系列的job,看做一个特定的group
 

详细参数:

<1>name=str
job名,用于输出信息用的名字。若是不设置的话,fio输出信息时将采用job name,若是设置的话,将用设置的名字。在命令行中,这个参数有特殊的做用,标明一个新job的开始。
<2>description=str
job的说明信息,在job运行的时候不起做用,只是在输出文件描述信息的时候才起做用。
<3>directory=str
使用的文件的路径前缀,默认是./
<4>filename=str
通常状况下,fio会根据job名,线程号,文件名来产生一个文件名。若是,想在多个job之间共享同一个文件的话,能够设定一个名字来代替默认的名字.若是ioengine是‘net’的话,文件名则是以这种格式=host,port,protocol.若是ioengine是基于文件的话,能够经过‘:’分割来设定一系列的文件。e.g. filename=/dev/sda:/dev/sdb 但愿job打开/dev/sda和/dev/sdb做为两个工做文件。
<5>opendir=str
让fio递归的添加目录下和子目录下的全部文件。
<6>lockfile=str
fio在文件上执行IO以前默认是不锁文件的,这样的话,当有多个线程在此文件上执行IO的话,会形成结果的不一致。这个选项能够用来共享文件的负载,支持的锁类型:
none 默认不使用锁
exclusive 排它锁
readwrite 读写锁
在后面能够加一个数字后缀,若是设置的话,每个线程将会执行这个数字指定的IO后才会放弃锁,由于锁的开销是比较大的,因此这种方式能够加速IO。
<7>kb_base=int
size换算单位,1000/1024,默认为1024
<8>randrepeat=bool
对于随机IO负载,配置生成器的种子,使得路径是能够预估的,使得每次重复执行生成的序列是同样的。
<9>use_os_rand=bool
fio可使用操做系统的随机数产生器,也可使用fio内部的随机数产生器(基于tausworthe),默认是采用fio内部的产生器,质量更数,速度更快。
<7>fallocate=str
如何准备测试文件
none 不执行预分配空间
posix 经过posix_fallocate()预分配空间
keep 经过fallocate()(设置FALLOC_FL_KEEP_SIZE)预分配空间
0 none的别名,出于兼容性
1 posix的别名,出于兼容性
并非在全部的平台上都有效,‘keep’仅在linux上有效,ZFS不支持。默认为‘posix’
<8>fadvise_hint=bool
默认fio将使用fadvise()来告知内核fio要产生的IO类型,若是不想告诉kernel来执行一些特定的IO类型的话,可行关闭这个选项。若是设置的话,fio将使用POSIX_FADV_SEWUENTIAL来做顺序IO,使用POSIX_FADV_RANDOM来作随机IO
<9>filesize=int
单个文件的大小,能够是一个范围,在这种状况下,fio将会在一个范围内选择一个大小来决定单个文件大小,若是没有设置的话,全部的文件将会是一样的大小。
<10>fill_device=bool,fill_fs=bool
填满空间直到达到终止条件ENOSPC,只对顺序写有意义。对于读负载,首行要填满挂载点,而后再启动IO,对于裸设备结点,这个设置则没有什么意义,由于,它的大小已被被文件系统知道了,此外写的超出文件将不会返回ENOSPC.
<11>blockalign=int,ba=int
配置随机io的对齐边界。默认是与blocksize的配置一致,对于direct_io,最小为512b,由于它与依赖的硬件块大小,对于使用文件的随机map来讲,这个选项不起做用。
<14>blocksize_range=irange,bsrange=irange
再也不采用单一的块大小,而是定义一个范围,fio将采用混合io块大小.IO单元大小通常是给定最小值的备数。同时应用于读写,固然也能够经过‘,’来隔开分别配置读写。
<15>bssplit=str
能够更为精确的控制产生的block size.这个选项能够用来定义各个块大小所占的权重.格式是
bssplit=blocksize/percentage;blocksize/percentage
bssplit=4k/10:64k/50;32k/40
产生的这样的负载:50% 64k的块,10% 4k的块, 40% 32k的块
能够分别为读和写来设置
e.g. bssplit=2k/50:4k/50,4k/90:8k/10
产生这样的负载:读(50% 64k的块,50% 4k的块),写(90% 4k的块, 10% 8k的块)
<16>blocksize_unaligned,bs_unaligned
若是这个选项被设置的,在bsrange范围内的大小均可以产生,这个选项对于direct io没有做用,由于对于direct io至少须要扇区对齐
<17>zero_buffers
若是这个选项设置的话,IO buffer所有位将被初始为0,若是没有置位的话,将会是随机数.
<18>refill_buffers
若是这个选项设置的话,fio将在每次submit以后都会将从新填满IO buffer,默认都会在初始是填满,之后重复利用。这个选项只有在zero_buffers没有设置的话,这个选项才有做用。
<19>scramble_buffer=bool
若是refilee_buffers成本过高的话,可是负载要求不使用重复数据块,设置这个选项的话,能够轻微的改动IO buffer内容,这种方法骗不过聪明的块压缩算法,可是能够骗过一些简单的算法。
<20>buffer_compress_percentage=int
若是这个设置的话,fio将会尝试提供能够压缩到特定级别的Buffer内容。FIO是能完提供混合的0和随机数来实现的。Note that this is per block size unit, for file/disk wide compression level that matches this setting, you’ll also want to set refill_buffers.
<21>buffer_compress_chunk=int
See buffer_compress_percentage. This setting allows fio to manage how big the ranges of random data and zeroed data is. Without this set, fio will provide buffer_compress_percentage of blocksize random data, followed by the remaining zeroed. With this set to some chunk size smaller than the block size, fio can alternate random and zeroed data throughout the IO buffer.
<22>file_service_type=str
fio切换job时,如何选择文件,支持下面的选项
random 随机选择一个文件 
roundrobin 循环使用打开的文件,默认
sequential 完成一个文件后,再移动到下一个文件
这个选项能够加后缀数字,标明切换到下一个新的频繁程度。
e.g. random:4 每4次IO后,将会切换到一下随机的文件
<23>iodepth_batch_submit=int,iodepth_batch=int
这个定义了一次性提交几个IO,默认是1,意味着一旦准备好就提交IO,这个选项能够用来一次性批量提交IO
<24>iodepth_batch_complete=int
这个选项定义了一次取回多少个IO,若是定义为1的话,意味着咱们将向内核请求最小为1个IO.The IO retrieval will go on until we hit the limit set by iodetph_low.If this variable is set to 0, then fi will always check for completed events before quuing more IO.This helps reduce IO latency, at the cost of more retrieval sysstem calls.
<25>iodepth_low=int
这个水位标志标明何时开始从新填充这个队列,默认是同iodepth是同样的,意味着,每时每刻都在尝试填满这个队列。若是iodepth设置为16,而iodepth设置为4的话,那么fio将等到depth降低到4才开始从新填充
<26>offset=int
在文件特定的偏移开始读数据,在这个offset以前的数据将不会被使用,有效的文件大小=real_size-offset
<27>offset_increment=int
若是这个选项被设置的话,实际的offset=offset+offset_increment * thread_number,线程号是从0开始的一个计数器,对于每个job来讲是递增的。这个选项对于几个job同时并行在不交界的地方操做一个文件是有用的。
<28>fsync=int
若是写一个文件的话,每n次IO传输完block后,都会进行一次同步脏数据的操做。
e.g. fsync=int
fio每32次写以后,同步一次文件。若是采用non-buffered io,不须要使用sync同步文件
对于sg io引擎的话,能够在任何状况下同步磁盘cache.
<29>fdatasync=int
同fsync,可是采用fdatasync()来同步数据,但不一样步元数据
<30>sync_file_range=str:val
对于每‘val’个写操做,将执行sync_file_range()。FIO将跟踪从上次sync_file_range()调用之扣的写范围,‘str’能够是如下的选择
wait_before SYNC_FILE_RANGE_WAIT_BEFORE
write SYNC_FILE_RANGE_WRITE
wait_after SYNC_FILE_RANGE_WAIT_AFTER
e.g.sync_file_range=wait_before,write:8,fio将在每8次写后使用SYNC_FILE_RANGE_WAIT_BEFORE|SYNC_FILE_RANGE_WRITE
<31>overwrite=bool
若是是true的话,写一个文件的话,将会覆盖已经存在的数据。若是文件不存在的话,它将会在写阶段开始的时候建立这个文件。
<32>end_fsync=bool
若是是true的话,当job退出的话,fsync将会同步文件内容
<33>fsync_on_close=bool
若是是true的话,关闭时,fio将会同步脏文件,不一样于end_fsync的时,它将会在每一个文件关闭时都会发生,而不是只在job结束时。
<34>rwmixread=int
混合读写中,读占的百分比
<35>rwmixwrite=int
混合读写中,写占的百分比;若是rwmixread=int和rwmixwrite=int同时使用的话而且相加不等于100%的话,第二个值将会覆盖第一个值。这可能要干扰比例的设定,若是要求fio来限制读和写到必定的比率。在果在这种状况下,那么分布会的有点的不一样。
<36>norandommap
通常状况下,fio在作随机IO时,将会覆盖文件的每个block.若是这个选项设置的话,fio将只是获取一个新的随机offset,而不会查询过去的历史。这意味着一些块可能没有读或写,一些块可能要读/写不少次。在个选项与verify=互斥,并只有多个块大小(bsrange=)正在使用,由于fio只会记录完整的块的重写。
<37>softrandommap=bool
See norandommap. If fio runs with the random block map enabled and it fails to allocate the map, if this option is set it will continue without a random block map. As coverage will not be as complete as with random maps, this option is disabled by default.
<38>nice=int
根据给定的nice值来运行这个job
<39>prio=int
设置job的优先级,linux将这个值限制在0-7之间,0是最高的。
<40>prioclass=int
设置优先级等级。
<41>thinktime=int
上一个IO完成以后,拖延x毫秒,而后跳到下一个。能够用来访真应用进行的处理。
<42>thinktime_spin=int
只有在thinktime设置时才有效,在为了sleep完thinktime规定的时间以前,伪装花费CPU时间来作一些与数据接收有关的事情。
<43>thinktime_blocks
只有在thinktime设置时才有效,控制在等等‘thinktime’的时间内产生多少个block,若是没有设置的话,这个值将是1,每次block后,都会将等待‘thinktime’us。
<44>rate=int
限制job的带宽。
e.g.rate=500k,限制读和写到500k/s
e.g.rate=1m,500k,限制读到1MB/s,限制写到500KB/s
e.g.rate=,500k , 限制写到500kb/s
e.g.rate=500k, 限制读到500KB/s
<45>ratemin=int
告诉fio尽最在能力来保证这个最小的带宽,若是不能知足这个须要,将会致使程序退出。
<46>rate_iops=int
将带宽限制到固定数目的IOPS,基本上同rate同样,只是独立于带宽,若是job是指定了一个block size范围,而不是一个固定的值的话,最小blocksize将会做为标准。
<47>rate_iops_min=int
若是fio达不到这个IOPS的话,将会致使job退出。
<48>ratecycle=int
几个毫秒内的平均带宽。用于‘rate’和‘ratemin’
<49>cpumask=int
设置job使用的CPU.给出的参数是一个掩码来设置job能够运行的CPU。因此,若是要容许CPU在1和5上的话,能够经过10进制数来设置(1<<1 | 1<<5),或是34。查看sched_setaffinity的man page。它可能并非支持全部的操做系统和kernel版本。This option doesn’t work well for a higher CPU count than what you can store in an integer mask, so it can only control cpus 1-32. For boxes with larger CPU counts, use cpus_allowed.
<50>cpus_allowed=str
功能同cpumask同样,可是容许经过一段文原本设置容许的CPU。e.g.上面的例子但是这样写cpus_allowed=1,5。这个选项容许设置一个CPU范围,如cpus_allowed=1,5,8-15
<51>startdelay=time
fio启动几秒后再启动job。只有在job文件包含几个jobs时才有效,是为了将某个job延时几秒后执行。
<52>runtime=time
控制fio在执行设定的时间后退出执行。很难来控制单个job的运行时间,因此这个参数是用来控制总的运行时间。
<53>time_based
若是设置的话,即便file已被彻底读写或写完,也要执行完runtime规定的时间。它是经过循环执行相同的负载来实现的。
<54>ramp_tim=time
设定在记录任何性能信息以前要运行特定负载的时间。这个用来等性能稳定后,再记录日志结果,所以能够减小生成稳定的结果须要的运行时间。Note that the ramp_time is considered lead in time for a job, thus it will increase the total runtime if a special timeout or runtime is specified.
<55>invalidate=bool
Invalidate the buffer/page cache parts for this file prior to starting io. Defaults to true.
<56>sync=bool
使用sync来进行buffered写。对于多数引擎,这意味着使用O_SYNC
<57>iomem=str,mem=str
fio可使用各类各样的类型的内存用来io单元buffer.
malloc 使用malloc()
shm 使用共享内存.经过shmget()分配
shmhuge 同shm同样,可使用huge pages
mmap 使用mmap。能够是匿名内存,或是支持的文件,若是一个文件名在选项后面设置的话,格式是mem=mmap:/path/to/file
mmaphuge 使用mmapped huge file.在mmaphuge扣面添加文件名,alamem=mmaphuge:/hugetlbfs/file
分配的区域是由job容许的最大block size * io 队列的长度。对于shmhuge和mmaphuge,系统应该有空闲的页来分配。这个能够经过检测和设置reading/writing /proc/sys/vm/nr_hugepages来实现(linux)。FIO假设一个huge page是4MB。因此要计算对于一个JOB文件须要的Huge page数量,加上全部jobs的队列长度再乘以最大块大小,而后除以每一个huge page的大小。能够经过查看/proc/meminfo来看huge pages的大小。若是经过设置nr_hugepages=0来使得不容许分配huge pages,使用mmaphug或是shmhuge将会失败。
mmaphuge须要挂载hugelbfs并且要指定文件的位置,因此若是要挂载在/huge下的话,可使用mem=mmaphuge:/huge/somefile
<58>iomem_align=int
标明IO内存缓冲的内存对齐方式。Note that the given alignment is applied to the first IO unit buffer, if using iodepth the alignment of the following buffers are given by the bs used. In other words, if using a bs that is a multiple of the page sized in the system, all buffers will be aligned to this value. If using a bs that is not page aligned, the alignment of subsequent IO memory buffers is the sum of the iomem_align and bs used.
<59>hugepage-size=int
设置huge page的大小。至少要与系统的设定相等。默认是4MB,必然是MB的倍数,因此用hugepage-size=Xm是用来避免出现不是2的整数次方的状况。
<60>exitall
当一个job退出时,会终止运行其它的job,默认是等待全部的job都完成,FIO才退出,但有时候这并非咱们想要的。
<61>bwavgtime=int
在给定时间内的平均带宽。值是以毫秒为单位的
<62>iopsavgtime=int
在给定时间内的平均IOPS,值是以毫秒为单位的
<63>create_serialize=bool
job将会串行化建立job,这将会用来避免数据文件的交叉,这依赖于文件系统和系统的CPU数
<64>create_fsync=bool
建立后同步数据文件,这是默认的值
<65>create_on_open=bool
不会为IO预先建立文件,只是在要向文件发起IO的时候,才建立open()
<66>create_only=bool
若是设置为true的话,fio将只运行到job的配置阶段。若是文件须要部署或是更新的磁盘的话,只有上面的事才会作,实际的文件内容并无执行。
<67>pre_read=bool
若是这个选项被设置的话,在执行IO操做以前,文件将会被预读到内存.这会删除‘invalidate’标志,由于预读数据,而后丢弃cache中的数据的话,是没有意义的。这只是对能够seek的IO引擎有效,由于这容许读相同的数据屡次。所以对于network和splice不起做用。
<68>unlink=bool
完成后将删除job产生的文件。默认是not,若是设置为true的话,将会花不少时间重复建立这些文件。
<69>loops=int
重复运行某个job屡次,默认是1
<70>do_verify=bool
写完成后,执行一个校验的阶段,只有当verify设置的时候才有效。默认是true
<80>verify=str
写一个文件时,每次执行完一个job扣,fio能够检验文件内容.容许的校验算法是:
md5,crc64,crc32c,crc32c-intel,crc32,crc16,crc7,sha512,sha256,sha1,meta,null.
这个选项能够用来执行重复的burn-in测试,来保证写数据已经正确的读回。若是是read或随机读,fio将假设它将会检验先前写的文件。若是是各类格式的写,verify将会是对新写入的数据进行校验。
<81>verifysort=bool
若是设置的话,fio will sort written verify blocks when it deems it faster to read them back in a sorted manner. This is often the case when overwriting an existing file, since the blocks are already laid out in the file system. You can ignore this option unless doing huge amounts of really fast IO where the red-black tree sorting CPU time becomes significant.
<82>verify_offset=int
Swap the verification header with data somewhere else in the block before writing. Its swapped back before verifying.
<83>verify_interval=int
Write the verification header at a finer granularity than the blocksize. It will be written for chunks the size of header_interval. blocksize should divide this evenly
<84>verify_pattern=str
<85>verify_fatal=bool
<86>verify_dump=bool
<87>verify_async=int
<88>verify_async_cpus=str
<89>verify_backlog=int
<90>verify_backlog_batch=int
<91>stonewall,wait_for_previous
等待先前的job执行完成后,再启动一个新的job。能够用来在job文件中加入串行化的点。stone wall也用来启动一个新reporting group
<92>new_group
启动一个新的reporting group。若是这个选项没有设置的话,在job文件中的job将属于相同的reporting group,除非经过stonewall隔开
<93>group_reporting
若是‘numjobs’设置的话,咱们感兴趣的多是打印group的统计值,而不是一个单独的job。这在‘numjobs’的值很大时,通常是设置为true的,能够减小输出的信息量。若是‘group_reporting’设置的话,fio将会显示最终的per-groupreport而不是每个job都会显示
<94>thread
fio默认会使用fork()建立job,若是这个选项设置的话,fio将使用pthread_create来建立线程
<95>zonesize=int
将一个文件分为设定的大小的zone
<96>zoneskip=int
跳过这个zone的数据都被读完后,会跳过设定数目的zone.
<97>write_iolog=str
将IO模式写到一个指定的文件中。为每个job指定一个单独的文件,不然iolog将会分散的的,文件将会冲突。
<98>read_iolog=str
将开一个指定的文件,回复里面的日志。这能够用来存储一个负载,并进行重放。给出的iolog也能够是一个二进制文件,容许fio来重放经过blktrace获取的负载。
<99>replay_no_stall
当使用read_iolog重放I/O时,默认是尝试遵照这个时间戳,在每一个IOPS以前会有适当的延迟。经过设置这个属性,将不会遵照这个时间戳,会根据指望的顺序,尝试回复,越快越好。结果就是相同类型的IO,可是不一样的时间
<101>replay_redirect
当使用read_iolog回放IO时,默认的行为是在每个IOP来源的major/minor设备上回放IOPS。这在有些状况是否是指望的,好比在另外一台机器上回放,或是更换了硬件,使是major/minor映射关系发生了改变。Replay_redirect将会致使全部的IOPS回放到单个设备上,无论这些IO来源于哪里。e.g.replay_redirect=/dev/sdc将会使得全部的IO都会重定向到/dev/sdc.这就意味着多个设备的数据都会重放到一个设置,若是想来本身多个设备的数据重放到多个设置的话,须要处理咱们的trace,生成独立的trace,再使用fio进行重放,不过这会破坏多个设备访问的严格次序。
<102>write_bw_log=str
在job file写这个job的带宽日志。能够在他们的生命周期内存储job的带宽数据。内部的fio_generate_plots脚本可使用gnuplot将这些文本转化成图。
<103>write_lat_log=str
同write_bw_log相似,只是这个选项能够存储io提交,完成和总的响应时间。若是没有指定文件名,默认的文件名是jobname_type.log。即便给出了文件名,fio也会添加两种类型的log。
e.g.若是咱们指定write_lat_log=foo
实际的log名将是foo_slat.log,foo_slat.log和foo_lat.log.这会帮助fio_generate_plot来自动处理log
<104>write_iops_log=str
相似于write_bw_log,可是写的是IOPS.若是没有给定文件名的话,默认的文件名是jobname_type.log。
<105>log_avg_msec=int
默认,fio每完成一个IO将会记录一个日志(iops,latency,bw log)。当向磁盘写日志的时候,将会很快变的很大。设置这个选项的话,fio将会在必定的时期内平均这些值,指少日志的数量,默认是0
<106>lockmem=int
使用mlock能够指定特定的内存大小,用来访真少许内存
<107>exec_preren=str
运行job以前,经过过system执行指定的命令
<108>exec_postrun=str
job执行完成后,经过system执行指定的命令
<109>ioscheduler=str
在运行以前,尝试将文件所在的设备切换到指定的调度器。
<110>cpuload=int
若是job是很是占用CPU周期的,能够指定打败CPU周期的百分比。
<120>cpuchunks=int
若是job是很是打败CPU周期的,将load分拆为时间的cycles,以毫秒为单位
<121>disk_util=bool
产生磁盘利用率统计信息。默认是打开的
<122>disable_lat=bool
延迟的有效数字。Disable measurements of total latency numbers. Useful only for cutting back the number of calls to gettimeofday,as that does impact performance at really high IOPS rates.Note that to really get rid of a large amount of these calls, this option must be used with disable_slat and disable_bw as well.
<123>disable_clat=bool
<124>disable_slat_bool
<125>disable_bw=bool
<126>clat_percentiles=bool
容许报告完成完成响应时间的百分比
<127>percentile_list=float_list
<128>gtod_reduce=bool
<129>gtod_cpu=int
<130>continue_on_error=str
通常状况下,一旦检测到错误,fio将会退出这个job.若是这个选项设置的话,fio将会一直执行到有‘non-fatal错误‘(EIO或EILSEQ)或是执行时间耗完,或是指定的I/Osize完成。若是这个选项设置的话,将会添加两个状态,总的错误计数和第一个error。容许的值是
none 所有IO或检验错误后,都会退出
read 读错误时会继续执行,其它的错误会退出
write 写错误时会继续执行,其它的错误会退出
io 任何IO error时会继续执行,其它的错误会退出
verify 校验错误时会继续执行,其它的错误会退出
all 遇到全部的错误都会继续执行
<131>cgroup=str
<132>cgroup_weitht=int
<133>cgroup_weight=int
<134>cgroup_nodelete=bool
<135>uid=int
不是使用调用者的用户来执行,而是指定用户ID
<136>gid=int
设置group id
<137>flow_id=int
<138>flow=int
<139>flow_watermark=int
<140>flow_sleep=int
下面的参数只对指定的IO引擎有效:
[libaio] userspace_reap
[netsplice]hostname=str
[net]hostname=str
[netsplice]port=int
[netsplice]proto=str
[net]protocol=str
[net]proto=str
[net]listen

输出

在运行时,fio将打印当前job建立的状态
e.g.
Threads: 1: [_r] [24.8% done] [ 13509/  8334 kb/s] [eta 00h:01m:31s]
生命周期
P   线程已经启动,尚未启动
C 线程启动
I 纯种已经初始化,等待中
p 线程运行中,预读文件
R 顺序读
r 随机读
W 顺序写
w 随机写
M 混合顺序读写
m 混合随机读写
F 等待执行fsync()
V 运行,检验写的数据
E 线程退出,尚未被主线程获取状态
_ Thread reaped, or
X Thread reaped, exited with an error.
K Thread reaped, exited due to signal.
 
其它的值都是能够自解释的:
当前正在运行的IO线程数。
从上次检查以后的IO速度(读速度/写速度)
估计的完成百分比
整个group的估计完成时间
 
当fio完成的时候(或是经过ctrl-c终止的时候),将会打印每个线程的数据,每一个group的数据,和磁盘数据。
 
io= 执行了多少M的IO
bw= 平均IO带宽
iops=   IOPS
runt= 线程运行时间
slat 提交延迟
clat 完成延迟
lat响应时间
bw 带宽
cpu利用率
IO depths=io队列
IO submit=单个IO提交要提交的IO数
IO complete= Like the above submit number, but for completions instead.
IO issued= The number of read/write requests issued, and how many
of them were short.
IO latencies=IO完延迟的分布
 
io= 总共执行了多少size的IO
aggrb= group总带宽
minb= 最小平均带宽.
maxb= 最大平均带宽.
mint= group中线程的最短运行时间.
maxt= group中线程的最长运行时间.
 
ios= 全部group总共执行的IO数.
merge= 总共发生的IO合并数.
ticks= Number of ticks we kept the disk busy.
io_queue= 花费在队列上的总共时间.
util= 磁盘利用率
 
为了便于脚本分析,可能须要将结果生成表或图,fio能够生成以分号分割的结果。
trace文件格式
相关文章
相关标签/搜索