write 系统调用耗时长的缘由

 

    前一阵子公司一部门有人叫帮忙调查，说他们write系统调用基本上是个位数微秒就返回，或者说几十us，但偶尔出现几回write系统调用达到几百毫秒和状况。你们都知道，经过vfs进行write，都是写写到page cache中，而后内核线程再按期同步到磁盘。写到内存应该是很快的才对。刚开始，我作了许多设想，1）磁盘IO过重，内存中的脏数据达到必定比率后write必须同步写到磁盘；2）那些耗时长的write是使用direct io，绕过了page cache；三、刚恰好write一个page时，read也在读同一page，那个page被lock了，write要等它。后来每一种假设又都被本身推翻了。如下是经过vfs进行write系统调用的图：

 

    前几天，使用systemtap进行一步步的定位，最后把可疑的点锁定在__block_write_begin这个函数中(fs/buffer.c)。

    先说明下这个函数是干什么的。generic_perform_write函数是把数据写入磁盘的主要处理函数。它先调用address_space_operations. write_begin（其中会调用咱们上文提到的__block_write_begin函数），接下来把数据拷贝到上一步分配出来的page中，最后调用address_space_operations.write_end。上面所说的write_begin和write_end会具体根据不一样的file system调用不一样的函数，拿ext4来讲，它的函数以下（有dellay allocation的话）：

static const struct address_space_operations ext4_da_aops = {

         .readpage                 = ext4_readpage,

         .readpages               = ext4_readpages,

         .writepage                = ext4_writepage,

         .writepages              = ext4_writepages,

         .write_begin            = ext4_da_write_begin,

         .write_end                = ext4_da_write_end,

         .bmap                        = ext4_bmap,

         .invalidatepage                = ext4_da_invalidatepage,

         .releasepage            = ext4_releasepage,

         .direct_IO                 = ext4_direct_IO,

         .migratepage           = buffer_migrate_page,

         .is_partially_uptodate  = block_is_partially_uptodate,

         .error_remove_page      = generic_error_remove_page,

};

 

    能够看到，ext4的write_begin是ext4_da_write_begin。Ext4_da_write_begin会先分配一个页框，而后调用__block_write_begin分配缓冲区（为何要分配缓冲区这里就不说明了）。那么，__block_write_begin分配缓冲区而已，为何有时候要耗时那么长呢？先看看代码：

int __block_write_begin(struct page *page, loff_t pos, unsigned len,

get_block_t *get_block)

{

  ......

  if (!buffer_uptodate(bh) && !buffer_delay(bh) &&

    !buffer_unwritten(bh) &&

     (block_start < from || block_end > to)) {

  ll_rw_block(READ, 1, &bh); //这里指定read操做，提交BIO

  *wait_bh++=bh;

  }

......

 

/*

* If we issued read requests - let them complete.

*/

  while(wait_bh > wait) { //这里等待io操做完成

  wait_on_buffer(*--wait_bh);

  if (!buffer_uptodate(*wait_bh))

  err = -EIO;

  }

}

 

　　

    write的基本单位是块（由磁盘文件系统定义，默认为4K）。这样的话，page cache中一个page（恰好也为4K）恰好就是一个块。好比说write的地址是512，长度是20，page cache就分配了一个能写 0~4095的页page frame，这个page frame恰好对应一个磁盘块，假如把要write的数据拷贝到这个page frame的 512~531，这样的话0~511和532~4095是空的。可是下次write back的时候会把整块数据都写入磁盘，因此须要把这一整块的数据都先从磁盘中读出来，写入page cache中，以防止0~511和532~4095被误写。这个读操做应该就是耗时长的缘由了。