文件描述符理解

Linux文件描述符

参考出处：https://www.jianshu.com/p/cded914786d5

与linux打交道，尽管可能你只是一个高级语言的码农，仍是或多或少的要和遇到d这种术语。今天抽空看了下传说中的fd，虽然尚未深刻了解linux操做系统，所以也谈不上真的深入理解了fd，但仍是扫盲了些许，至少之后再碰到相关术语，不至于一脸茫然。

说明：看了一些网上的文章，大多数语句都是在理解的基础上直接搬过来的，感谢那些整理的人们，就不一一列举出处了。

1. Linu文件系统简介

文件系统是操做系统用于明确存储设备（常见的是磁盘，也有基于NAND Flash的固态硬盘）或分区上的文件的方法和数据结构；即在存储设备上组织文件的方法。
Unix能够把一个能随机存取的存储介质（如：硬盘、软盘和光盘）上的存储空间划分红一致多个区域，每一个区域均可以像独立的物理设备同样单独进行管理和数 据存取，这样的存储区域，便是逻辑设备。在逻辑设备上按照必定的格式进行划分，就构成了逻辑文件系统，简称文件系统。

• 普通文件 这种文件包含了某种形式的数据,这些数据不管是文件仍是二进制对于 UNIX 内核而言都是同样的。对普通文件内容的解释有处理该文件的应用程序进行。
• 目录文件 目录文件包含了其余文件的名字以及指向与这些文件有关信息的指针。对一个目录文件具备读权限的任一进程均可以读取该目录的内容,可是只有内核才能直接写目录文件。
• 块特殊文件 这种文件类型提供对设备带缓冲的访问,每次访问以固定长度为单位进行。
• 字符特殊文件 这种文件类型提供对设备不带缓冲的访问,每次访问长度可变。系统中的全部设备要么是字符特殊文件,要么是块特殊文件。
• FIFO 这种类型文件用于进程间通讯。也称为命名管道(namedpipe)。
• 套接字(socket) 这种文件类型用于进程间的网络通讯。
• 符号连接(symbolic link) 这种文件类型指向另外一个文件。

2. 什么是文件描述符fd

在Linux系统中一切皆能够当作是文件，文件又可分为：普通文件、目录文件、连接文件和设备文件。文件描述符（file descriptor）是内核为了高效管理已被打开的文件所建立的索引，其是一个非负整数（一般是小整数），用于指代被打开的文件，全部执行I/O操做的系统调用都经过文件描述符。程序刚刚启动的时候，0是标准输入，1是标准输出，2是标准错误。若是此时去打开一个新的文件，它的文件描述符会是3。POSIX标准要求每次打开文件时（含socket）必须使用当前进程中最小可用的文件描述符号码。

也就是说，在linux系统中，全部的文件操做，都是经过fd来定位资源和状态的，不论是读写文件，仍是进行网络通讯，都须要与相应的fd打交道。

理解具体状况，须要了解由内核维护的3个数据结构：

• 进程级文件描述符表(file descriptor table)
• 系统级打开文件表(open file table)
• 文件系统i-node表(i-node table)

这3个数据结构之间的关系以下图所示：

 

 

文件描述符表

系统为每一个进程维护一份文件描述符表，该表的每个条目都记录了单个文件描述符的相关信息，包括：

• 控制标志(flags)，目前内核仅定义了一个，即close-on-exec
• 打开文件描述体指针

打开文件列表

内核对全部打开的文件维护一个系统级别的打开文件描述表(open file description table)。表中的条目称为打开文件描述体(open file description)，存储了与一个打开的文件相关的所有信息，包括：

• 文件偏移量(current file offset)，调用read()和write()更新，调用lseek()直接修改
• 访问模式（file status flags），由open()调用设置，例如：只读、只写或读写等
• i-node对象指针（v-node ptr），指向一个inode元素，从而关联物理文件

i-node表

就像进程用pid来描述和定位同样，在linux系统中，文件使用inode号来描述，inode存储了文件的不少元信息。

每一个文件系统会为存储于其上的全部文件(包括目录)维护一个i-node表，单个i-node包含如下信息：

• 文件类型(file type)，能够是常规文件、目录、套接字或FIFO
• 文件的字节数
• 文件拥有者的User ID
• 文件的Group ID
• 文件的读、写、执行权限
• 文件的时间戳，共有三个：ctime指inode上一次变更的时间，mtime指文件内容上一次变更的时间，atime指文件上一次打开的时间。
• 连接数，即有多少文件名指向这个inode
• 文件数据block的位置

i-node存储在磁盘设备上，内核在内存中维护了一个副本，这里的i-node表为后者。副本除了原有信息，还包括：引用计数(从打开文件描述体)、所在设备号以及一些临时属性，例如文件锁。

举个例子

open系统调用执行的操做：新建一个i-node表元素，让其对应打开的物理文件（若是对应于该物理文件的inode元素已经创建，就不作任何操做）；新建一个文件表的元素，根据open的第2个参数设置file status flags字段，将current file offset字段置0，将v-node ptr指向刚创建的i节点表元素；在文件描述符表中，寻找1个还没有使用的元素，在该元素中填入一个指针值，让其指向刚创建的文件表元素。最重要的是：将该元素的下标做为open的返回值返回。

这样一来，当调用read（write）时，根据传入的文件描述符，OS就能够找到对应的文件描述符表元素，进而找到文件表的元素，进而找到i节点表元素，从而完成对物理文件的读写。

3. 文件描述限制

在编写文件操做的或者网络通讯的软件时，初学者通常可能会遇到“Too many open files”的问题。这主要是由于文件描述符是系统的一个重要资源，虽说系统内存有多少就能够打开多少的文件描述符，可是在实际实现过程当中内核是会作相应的处理的，通常最大打开文件数会是系统内存的10%（以KB来计算）（称之为系统级限制），查看系统级别的最大打开文件数可使用sysctl -a | grep fs.file-max命令查看。与此同时，内核为了避免让某一个进程消耗掉全部的文件资源，其也会对单个进程最大打开文件数作默认值处理（称之为用户级限制），默认值通常是1024，使用ulimit -n命令能够查看，咱们也能够经过命令去修改该限制。

4.fork等操做对fd的影响

咱们仍是以这幅图为例：

 

 

 

在进程A中，文件描述符1和30都指向了同一个打开的文件句柄（标号23）。这多是经过调用dup()、dup2()、fcntl()或者对同一个文件屡次调用了open()函数而造成的。

进程A的文件描述符2和进程B的文件描述符2都指向了同一个打开的文件句柄（标号73）。这种情形多是在调用fork()后出现的（即，进程A、B是父子进程关系，子进程继承父进程打开的文件），或者当某进程经过UNIX域套接字将一个打开的文件描述符传递给另外一个进程时，也会发生。再者是不一样的进程独自去调用open函数打开了同一个文件，此时进程内部的描述符正好分配到与其余进程打开该文件的描述符同样。

此外，进程A的描述符0和进程B的描述符3分别指向不一样的打开文件句柄，但这些句柄均指向i-node表的相同条目（1976），换言之，指向同一个文件。发生这种状况是由于每一个进程各自对同一个文件发起了open()调用。同一个进程两次打开同一个文件，也会发生相似状况。

总结

• 因为进程级文件描述符表的存在，不一样的进程中会出现相同的文件描述符，它们可能指向同一个文件，也可能指向不一样的文件
• 两个不一样的文件描述符，若指向同一个打开文件句柄，将共享同一文件偏移量。所以，若是经过其中一个文件描述符来修改文件偏移量（由调用read()、write()或lseek()所致），那么从另外一个描述符中也会观察到变化，不管这两个文件描述符是否属于不一样进程，仍是同一个进程，状况都是如此。
• 要获取和修改打开的文件标志（例如：O_APPEND、O_NONBLOCK和O_ASYNC），可执行fcntl()的F_GETFL和F_SETFL操做，其对做用域的约束与上一条颇为相似。
• 文件描述符标志（即，close-on-exec）为进程和文件描述符所私有。对这一标志的修改将不会影响同一进程或不一样进程中的其余文件描述符