关于Windows文件读写_暗涌_新浪博客

关于Windows文件读写_暗涌_新浪博客

    这几天在研究怎么才能加快windows文件读写速度，搜了不少文章，MSDN也看了很多。稍微给你们分享一下。

    限制windows文件读写速度的瓶颈其实最终仍是来源于咱们硬盘的固有特性，磁盘自己的转速和硬盘的串行化工做机制。咱们所能作的只是改善软件实现方法去逼近硬盘的极限读写速度。平时咱们在拷贝粘贴文件的时候，实际上是用的windows自己的实现，其中有一个很大的影响速度的地方就是它们都用了windows的文件缓存机制，当你拷贝一个大文件时，windows会根据你要拷贝的文件大小缓存很大一部分到系统缓存，这时候你会看到系统缓存瞬间飙涨，机器性能大大下降。总体拷贝速度为10M/S左右。而IDE 7200转的硬盘读写速度通常能达到30M/S左右，因此浪费了很大一部分硬盘读写速度。而当咱们并行读写多个文件时，速度比串行读写多个文件还要慢，这就是由于硬盘串行工做机制的限制，多文件并行操做时，时间都花在磁头摆动上了。而且在缓存读取上，命中率也将大大下降。因此咱们要避免使用windows缓存机制，并尽可能不要同时读写多段文件，尽可能读写连续的文件块。

    通常来讲，咱们操做一个windows I/O句柄用的是windows文件读写系列API：CreateFile, ReadFile, WriteFile等，这些API不只能够读写文件句柄，全部的I/O设备句柄都能经过这些API来操做。好比socket描述符, 串口描述符，管道描述符等。经过设置他们的参数，咱们能够选择以不一样的方式操做IO。例如CreateFile，原型以下：

HANDLE CreateFile(
 LPCTSTR lpFileName,    //指向文件名的指针
 DWORD dwDesiredAccess,    //访问模式（写/读）
 DWORD dwShareMode,    //共享模式
 LPSECURITY_ATTRIBUTES lpSecurityAttributes, //指向安全属性的指针
 DWORD dwCreationDisposition,   //如何建立
 DWORD dwFlagsAndAttributes,   //文件属性
 HANDLE hTemplateFile    //用于复制文件句柄
);

对于读写速度，最重要的是dwFlagsAndAttributes参数，这个参数的取值能够参看MSDN，这里稍微说一下：

 

Attributes:
该参数能够接收下列属性的任意组合.除非其它全部的文件属性忽略FILE_ATTRIBUTE_NORMAL.
FILE_ATTRIBUTE_ARCHIVE 文件将被存档,程序使用此属性来标志文件去备份或移除

FILE_ATTRIBUTE_HIDDEN 文件被隐藏,它不会在通常文件夹列表中被装载.

FILE_ATTRIBUTE_NORMAL 文件没有被设置任何属性.

FILE_ATTRIBUTE_OFFLINE 文件的数据没有被当即用到。指出正在脱机使用该文件。

FILE_ATTRIBUTE_READONLY 这个文件只可读取.程序能够读文件,但不能够在上面写入内容,也不可删除.

FILE_ATTRIBUTE_SYSTEM 文件是系统的一部分,或是系统专用的.

FILE_ATTRIBUTE_TEMPORARY 文件被使用后，文件系统将努力为（文件的）全部数据的迅迅访问保持一块内存。临时文件应当在程序不用时及时删除。

 

Flags:

能够接受下列标志的任意组合。

FILE_FLAG_WRITE_THROUGH 

指示系统经过快速缓存直接写入磁盘，

FILE_FLAG_OVERLAPPED 

指示系统初始化对象, 此操做将对进程设置一个引用计数并返回ERROR_IO_PENDING.处理完成后, 指定对象将被设置为信号状态.当你指定FILE_FLAG_OVERLAPPED时,读写文件的函数必须指定一个OVERLAPPED结构.而且. 当FILE_FLAG_OVERLAPPED被指定, 程序必须执行重叠参数(指向OVERLAPPED结构)去进行文件的读写. 这个标志也能够有超过一个操做去执行.

FILE_FLAG_NO_BUFFERING  

指示系统不使用快速缓冲区或缓存，当和FILE_FLAG_OVERLAPPED组合,该标志给出最
大的异步操做量, 由于I/O不依赖内存管理器的异步操做.然而,一些I/O操做将会运行得长一些,由于数据没有控制在缓存中.     

当使用FILE_FLAG_NO_BUFFERING打开文件进行工做时,程序必须达到下列要求:
  

1. 文件的存取开头的字节偏移量必须是扇区尺寸的整倍数.
2. 文件存取的字节数必须是扇区尺寸的整倍数.例如,若是扇区尺寸是512字节.程序就能够读或者写512,1024或者2048字节,但不可以是335,981或者7171字节.

3. 进行读和写操做的地址必须在扇区的对齐位置,在内存中对齐的地址是扇区.尺寸的整倍数.一个将缓冲区与扇区尺寸对齐的途径是使用VirtualAlloc函数.它分配与操做系统内存页大小的整倍数对齐的内存地址.由于内存页尺寸和扇区尺寸--2都是它们的幂.这块内存在地址中一样与扇区尺寸大小的整倍数对齐.程序能够经过调用GetDiskFreeSpace来肯定扇区的尺寸.

 

FILE_FLAG_RANDOM_ACCESS
指定文件是随机访问,这个标志可使系统优化文件的缓冲.

FILE_FLAG_SEQUENTIAL_SCAN 
指定文件将从头至尾连续地访问.这个标志能够提示系统优化文件缓冲. 若是程序在
随机访问文件中移动文件指针,优化可能不会发生;然而,正确的操做仍然能够获得保
证. 指定这个标志能够提升程序以顺序访问模式读取大文件的性能, 性能的提升在许多程序读取一些大的顺序文件时是异常明显的.可是可能会有小范围的字节遗漏.

FILE_FLAG_DELETE_ON_CLOSE

指示系统在文件全部打开的句柄关闭后当即删除文件.不仅有你指定了FILE_FLAG_DELETE_ON_CLOSE的文件。
FILE_SHARE_DELETE
若是没有使用FILE_SHARE_DELETE,后续的打开文件的请求将会失败.

FILE_FLAG_BACKUP_SEMANTICS

WINDOWS NT:指示系统为文件的打开或建立执行一个备份或恢复操做. 系统保证调
用进程忽略文件的安全选项,假若它必须有一个特权.则相关的特权则是SE_BACKUP_NAME和SE_RESTORE_NAME.你也可使用这个标志得到一个文件夹的句柄，一个文件夹句柄可以象一个文件句柄同样传给某些Win32函数。

FILE_FLAG_POSIX_SEMANTICS

指明文件符合POSIX标准.这是在MS-DOS与16位Windows下的标准.

FILE_FLAG_OPEN_REPARSE_POINT 

指定这个标志制约NTFS分区指针.该标志不可以和CREAT_ALWAYS一块儿使用.

FILE_FLAG_OPEN_NO_RECALL 

指明须要文件数据,可是将继续从远程存储器中接收.它不会将数据存放在本地存储器中.这个标志由远程存储系统或等级存储管理器系统使用.

 

    能够看到，有不少标志和属性可使用，可是这里最重要的对速度影响最大的是红字部分的FILE_FLAG_NO_BUFFERING和FILE_FLAG_OVERLAPPED.    

 

    FILE_FLAG_NO_BUFFERING就是说文件操做时不使用windows缓存机制，FILE_FLAG_OVERLAPPED则表示文件的操做将异步进行。就是说不等待I/O操做完成，读写函数便返回，这要用到重叠IO机制，本身针对IO状态作不一样的事情，基本上用到的是GetOverlappedResult和WaitForMultiObject。

    当我单独使用FILE_FLAG_NO_BUFFERING时，拷贝粘贴一个400M文件大概22秒，接近20M/S的速度，可是指定FILE_FLAG_NO_BUFFERING时，文件位置，缓存大小，文件大小都有很大的限制，即都要和扇区大小对齐（见红字部分）。若是不这样，读写将失败。这的确增大了很多内存分配操做，可是速度提升却很明显。

    而当我使用FILE_FLAG_OVERLAPPED将文件分为多个部分同时读写时，发现速度反而慢了。回到开头说的，这就是硬盘自己的限制了。可是我参考Fastcopy（一个免费文件拷贝软件）源代码时，发现它也同时打开了多个文件读写。但是速度却没有慢多少。具体缘由还得研究研究。

    以上都是在本地硬盘操做的状况下，没有网络的限制，而当我要在服务器上拷贝文件时，最大的瓶颈便成了网络。在这种状况下，个人想法是，服务器的硬盘读取速度应该大大高于咱们的机器硬盘，因此能够将文件分多段同时读取，以争取网络带宽，而在写入时则以串行的方式写入连续的文件。这样既能充分利用网络，又能避免本地硬盘的读写速度限制。固然，具体效果还须回公司试验。