同步IO,异步IO,延迟IO之我见

       同步IO,异步IO,延迟IO,这三个概念用了蛮久了,可是一直以为理解的不太系统。看了很多文章,大都说的先后矛盾。最近花了一些时间,进行了一个总结,写下心得。linux

      同步IO:当前一个IO真正完成后,后一个IO才能够发出。如posix的read, write等系统调用。缓存

     异步IO:每一个IO请求,是否完成,都不会影响后续IO的发出。如glibc的aio,以及linux的libaio,等等。异步

      Buffered IO:
      
读取:硬盘->内核缓冲区->用户缓冲区;
      写回:数据会从用户地址空间拷贝到操做系统内核地址空间的页缓存中去,这是write就会直接返回,操做系统会在恰当的时机写入磁盘,这就是传说中的Buffered IO。buffer io 对写IO而言有write back和write through。write back先写入到内存中,一段时间后,由内核线程写入到磁盘。因为内存比磁盘快不少,因此write back的速度很快。write back有一个缺点,就是当你掉电时,可能会丢失数据。这时候write through 就粉墨登场了,write through和write back相比,在写入内存的同时也写入到磁盘中,那为何要写入到内存中呢,不是画蛇添足吗,这可能为了之后读的更快。不过我没有看到有文件系统实现 write through的,对文件系统来讲,buffer io的写就是write back模式。ceph filestore的写数据部分,也是write back模式。操作系统

      非Buffered IO(Direct IO):
      对于自缓存应用程序来讲,缓存 I/O 明显不是一个好的选择。所以出现了DIRECT IO。然而想象一下,不经内核缓冲区,直接写磁盘,必然会引发阻塞。因此一般DIRECT IO与AIO会一块儿出现。.net

      延迟IO:
     其实,提及延迟IO,就是延迟写(不存在延迟读一说)。延迟写的意思是指:写操做的时候,不只要写到kernel的page cache中,还要同时下刷到disk中。延迟写的控制,在open一个文件的时候指定:
     int open(const char *pathname, int flags, ... /* mode_t mode*/);
     1) O_SYNC: write操做,将会被阻住,直到数据和元数据被写到了物理硬盘上。线程

     2) O_DSYNC: write操做,将会被阻住,直到数据被写到了物理硬盘上。翻译

       这里,SYNC是synchronous IO的缩写。字面意思,甚至不少资料,都翻译成同步IO。我认为,这里的“同步”,跟我上文提到的同步/异步IO,不是一个概念。若是硬要翻译成同步,那么也是指kernel cache和底层硬件disk之间的同步。因此,这里SYNC,我认为理解成“非延迟”,更加准确一些。blog

有篇文章,叫作《O_DIRECT和O_SYNC详解》,里面有个图,很清楚:内存

    

上图中,左侧虚线方框中为可于任什么时候刻显式强制刷新各种缓冲区的调用。get

右侧所示为促使刷新自动化的调用:经过禁用stdio的缓冲,和在文件输出类的系统调用中启用同步,从而使每一个write()调用马上刷新到磁盘。

相关文章
相关标签/搜索