磁盘IO常常是hadoop集群的最大瓶颈,这个测试命令颇有用。
linux
问: 如下几种方式测试磁盘读写速度有什么区别? 缓存
dd bs=1M count=128 if=/dev/zero of=test app
dd bs=1M count=128 if=/dev/zero of=test; sync async
dd bs=1M count=128 if=/dev/zero of=test conv=fdatasync ide
dd bs=1M count=128 if=/dev/zero of=test oflag=dsyncoop
答:区别在于内存中写缓存的处理方式。 post
dd bs=1M count=128 if=/dev/zero of=test 测试
没有加任何参数,dd默认的方式不包括“同步(sync)”命令。也就是说,dd命令完成前并无让系统真正把文件写到磁盘上。因此以上命令只是单纯地把这128MB的数据读到内存缓冲当中(写缓存[write cache])。因此你获得的将是一个超级快的速度。由于其实dd给你的只是读取速度,直到dd完成后系统才开始真正往磁盘上写数据,但这个速度你是看不到了。因此若是这个速度很快,先不要偷着乐。呵呵 spa
dd bs=1M count=128 if=/dev/zero of=test; sync .net
和前面1中的彻底同样。分号隔开的只是前后两个独立的命令。当sync命令准备开始往磁盘上真正写入数据的时候,前面dd命令已经把错误的“写入速度”值显示在屏幕上了。因此你仍是得不到真正的写入速度。
dd bs=1M count=128 if=/dev/zero of=test conv=fdatasync
加入这个参数后,dd命令执行到最后会真正执行一次“同步(sync)”操做,因此这时候你获得的是读取这128M数据到内存并写入到磁盘上所需的时间,这样算出来的时间才是比较符合实际的。
dd bs=1M count=128 if=/dev/zero of=test oflag=dsync
加入这个参数后,dd在执行时每次都会进行同步写入操做。也就是说,这条命令每次读取1M后就要先把这1M写入磁盘,而后再读取下面这1M,一共重复128次。这多是最慢的一种方式了,由于基本上没有用到写缓存(write cache)。
问:那应该用哪种呢?
答:建议使用
dd bs=1M count=128 if=/dev/zero of=test conv=fdatasync
由于这种方式最接近计算机实际操做,因此测出来的数据最有参考价值。