java的NIO基础知识

java的NIO基础知识

    java的NIO是一个高可复用性的I/O工具，在linux系统中底层使用的epoll工具。将原来的老式的文件流系统，改为了事件流。要学习NIO，必须了解一些预备知识，下面收集一些知识基础和NIO的特性。

一、Linux的文件系统

        linux经过文件系统将硬件存储设备映射为一个逻辑文件系统的一个目录。正统的linux文件系统将硬盘分区划分为目录块、inode Table区、data block数据区域。一个文件由一个目录项、inode表和数据区块组成。Inode包含了文件的属性（如读、写、owner、block地址），数据区域则是文件内容的二进制数据。

        当查看某个文件的时候，会先从inode table中查找文件的属性和数据block地址，再从对应的block读取数据。

        目录表

    

        inode结构：

        

        硬链接：是给文件一个副本，同时创建二者之间的链接关系。修改其中一个，与其链接的文件同时被修改。若是删除其中任意一个其他的文件将不受影响（因为目录表中的数据标识没有删完，Inode和Block中的数据就不会被删掉）。

        软链接 : 也叫符号链接,他只是对源文件在新的位置创建一个“快捷（借用一下wondows经常使用词）”，因此，当源文件删除时，符号链接的文件将成为无源之水->仅仅剩下个文件名了，固然删除这个链接，也不会影响到源文件，但对链接文件的使用、引用都是直接调用源文件的。

#建立一个硬连接和软链接
$: touch 1.txt
$: echo "aaa" >> 1.txt
$: ln 1.txt 2.txt
$: ln -s 1.txt 3.txt

    从截图能够看出硬连接的inode是相同的，也就是它们是一个文件的不一样目录表标识。而3.txt的inode和源文件的Inode不一样，并且没有Blocks，直接从inode指向1.txt.

二、文件描述符

        文件描述符：内核为了高效的管理已被打开的文件所建立的索引，是一个非负整数，用于指代被打开的文件，全部执行的I/O操做的系统调用都经过文件描述符。内核为每个进程维护一个文件描述符表，当线程打开才运行的时候：0（标准输入：stdin），1(标准输出)，2（标准错误）会被默认占用，打开的其它I/O会从3开始。

        文件描述附表大概以下

        一个进程打开的最大文件数是系统内存的10%（以KB计算），也能够经过下面的命令查看和修改

#查看linux的每一个进程文件描述符的个数（俗称fd数）
：ulimit -n
1024（centOS7 2^10）
#修改成2^16。8位
:ulimit -HSn 65536

      在实际的应用中会出现下面的运行图

     

     一、文件描述符表：用户态 

            ps:已打开的文件在内核中用file结构体表示，文件描述符表(file_struct：进程中)中的指针指向file结构体

     二、内核和用户程序之间的桥梁

             在file结构体（内核中）中维护File Status Flag（file结构体的成员f_flags）和当前读写位置（file结构体的成员f_pos）。在上图中，进程1和进程2都打开同一文件，可是对应不一样的file结构体，所以能够有不一样的File Status Flag和读写位置。file结构体中比较重要的成员还有f_count，表示引用计数（Reference Count），后面咱们会讲到，dup、fork等系统调用会致使多个文件描述符指向同一个file结构体，例若有fd1和fd2都引用同一个file结构体，那么它的引用计数就是2，当close(fd1)时并不会释放file结构体，而只是把引用计数减到1，若是再close(fd2)，引用计数就会减到0同时释放file结构体，这才真的关闭了文件。

         (    

                f_flags：操做方式

                f_pos：当前读写位置

                f_count：统计该file结构体被使用多少次，若是是f_count=0则关闭。

        )

            每一个file结构体都指向一个file_operations结构体，这个结构体的成员都是函数指针，指向实现各类文件操做的内核函数。好比在用户程序中read一个文件描述符，read经过系统调用进入内核，而后找到这个文件描述符所指向的file结构体，找到file结构体所指向的file_operations结构体，调用它的read成员所指向的内核函数以完成用户请求。

             在用户程序中调用lseek、read、write、ioctl、open等函数，最终都由内核调用file_operations的各成员所指向的内核函数完成用户请求。

             file_operations结构体中的release成员用于完成用户程序的close请求，之因此叫release而不叫close是由于它不必定真的关闭文件，而是减小引用计数，只有引用计数减到0才关闭文件。

             对于同一个文件系统上打开的常规文件来讲，read、write等文件操做的步骤和方法应该是同样的，调用的函数应该是相同的，因此图中的三个打开文件的file结构体指向同一个file_operations结构体。

             若是打开一个字符设备文件，那么它的read、write操做确定和常规文件不同，不是读写磁盘的数据块而是读写硬件设备，因此file结构体应该指向不一样的file_operations结构体，其中的各类文件操做函数由该设备的驱动程序实现。

             file_operations结构体：内核提供给用户态使用的文件操做函数指针。lseek,write,ioctl,open等 （ps：        release(使用close（）时候使用)。内核不必定关闭文件，而是减小f_count。当到0的时候关闭文件   二、同一文件系统使用同一file_operations）

     三、彻底的内核态（和bash同样经过文件系统直接查找）

            每一个file结构体都有一个指向dentry结构体的指针，“dentry”是directory entry（目录项）的缩写。咱们传给open、stat等函数的参数的是一个路径，

            例如/home/akaedu/a，须要根据路径找到文件的inode。为了减小读盘次数，内核缓存了目录的树状结构，称为dentry cache，其中每一个节点是一个dentry结构体，只要沿着路径各部分的dentry搜索便可，从根目录/找到home目录，而后找到akaedu目录，而后找到文件a。dentry cache只保存最近访问过的目录项，若是要找的目录项在cache中没有，就要从磁盘读到内存中。

      a、从目录项缓存中找到inode、若是没有则直接从硬盘中读取    

            每一个dentry结构体都有一个指针指向inode结构体。inode结构体保存着从磁盘inode读上来的信息。在上图的例子中，有两个dentry，分别表示/home/akaedu/a和/home/akaedu/b，它们都指向同一个inode，说明这两个文件互为硬连接。inode结构体中保存着从磁盘分区的inode读上来信息，例如全部者、文件大小、文件类型和权限位等。每一个inode结构体都有一个指向inode_operations结构体的指针，后者也是一组函数指针指向一些完成文件目录操做的内核函数。和file_operations不一样，inode_operations所指向的不是针对某一个文件进行操做的函数，而是影响文件和目录布局的函数，例如添加删除文件和目录、跟踪符号连接等等，属于同一文件系统的各inode结构体能够指向同一个inode_operations结构体。

     b、直接从硬盘中读取字节流

            inode结构体有一个指向super_block结构体的指针。super_block结构体保存着从磁盘分区的超级块读上来的信息，例如文件系统类型、块大小等。super_block结构体的s_root成员是一个指向dentry的指针，表示这个文件系统的根目录被mount到哪里，在上图的例子中这个分区被mount到/home目录下。

            file、dentry、inode、super_block这几个结构体组成了VFS的核心概念。对于ext2文件系统来讲，在磁盘存储布局上也有inode和超级块的概念，因此很容易和VFS中的概念创建对应关系。而另一些文件系统格式来自非UNIX系统（例如Windows的FAT3二、NTFS），可能没有inode或超级块这样的概念，但为了能mount到Linux系统，也只好在驱动程序中硬凑一下，在Linux下看FAT32和NTFS分区会发现权限位是错的，全部文件都是rwxrwxrwx，由于它们原本就没有inode和权限位的概念，这是硬凑出来的。    

最后列下文件描述符的函数：

  open：打开一个文件，并指定访问该文件的方式，调用成功后返回《 一个文件描述符》。
  creat：打开一个文件，若是该文件不存在，则建立它，调用成功后返回《  一个文件描述符》。
  close：关闭文件，进程对文件所加的锁全都被释放。
  read：从文件描述符对应的文件中读取数据，调用成功后返回《 读出的字节数》。
  write：向文件描述符对应的文件中写入数据，调用成功后返回《 写入的字节数》。
  
  ftruncate：把文件描述符对应的文件缩短到指定的长度，调用成功后返回《 0》。
  lseek：在文件描述符对应的文件里把文件指针设定到指定的位置，调用成功后返回《 新指针的位置》。
  fsync:将全部已写入文件中的数据真正写到磁盘或其余下层设备上，调用成功后返回《 0》。
  fstat：返回文件描述符对应的文件的相关信息，把结果保存在struct stat中，调用成功后返回《 0》。
  fchown：改变与打开文件相关联的全部者和全部组，调用成功后返回《 0》。
  fchmod：把文件描述符对应的文件的权限位改成指定的八进制模式，调用成功后返回《 0》。
  flock：用于向文件描述符对应的文件施加建议性锁，调用成功后返回《 0》。
  fcntl：既能施加建议性锁也能施增强制性锁，能创建记录锁、读取锁和写入锁，调用成功后返回《 0》。
  dup：复制文件描述符，返回《 没使用的文件描述符中最小的编号》。
  dup2：由用户指定返回的《 文件描述符的值》，用来从新打开或重定向一个文件描述符。
  select：同时从多个文件描述符读取数据或向多个文件描述符写入数据