10分钟看懂， Java NIO 底层原理
目录html
疯狂创客圈 Java 分布式聊天室【 亿级流量】实战系列之 -21【 博客园 总入口 】java
写在前面
你们好，我是 高并发的实战社群【疯狂创客圈】尼恩。Java NIO 、 Reactor模式等基础原理性的知识，很是重要，不管开发、仍是面试。
不少的小伙伴，被java IO 模型中，搞得有点儿晕，一下子是4种模型，一下子又变成了5种模型。
不少的小伙伴，也被nio这个名词搞晕了，一下子java 的nio 不叫 非阻塞io，一下子java nio 又是非阻塞io，究竟是啥呢？
不少的小伙伴，被异步和非阻塞搞晕了。都非阻塞了，难道不是异步的吗？
这这，好难呀。
此文，从底层入手，给各位小伙伴，起底一下，java的四大io模型。须要面试的，或者没有弄清楚的小伙伴，完全的有福了。linux
顺便说明下：
本文的内容只是一个初稿、初稿，本文的知识，在《Netty Zookeeper Redis 高并发实战》一书时，进行大篇幅的完善和更新，而且进行的源码的升级。 博客和书不同，书的内容更加系统化、全面化，更加层层升入、井井有条、更屡次的错误排查，请你们以书的内容为准。
本文的最终内容， 具体请参考疯狂创客圈 倾力编著，机械工业出版社出版的 《Netty Zookeeper Redis 高并发实战》一书 。
面试
1.1. Java IO读写原理
不管是Socket的读写仍是文件的读写，在Java层面的应用开发或者是linux系统底层开发，都属于输入input和输出output的处理，简称为IO读写。在原理上和处理流程上，都是一致的。区别在于参数的不一样。编程
用户程序进行IO的读写，基本上会用到read&write两大系统调用。可能不一样操做系统，名称不彻底同样，可是功能是同样的。设计模式
先强调一个基础知识：read系统调用，并非把数据直接从物理设备，读数据到内存。write系统调用，也不是直接把数据，写入到物理设备。缓存
read系统调用，是把数据从内核缓冲区复制到进程缓冲区；而write系统调用，是把数据从进程缓冲区复制到内核缓冲区。这个两个系统调用，都不负责数据在内核缓冲区和磁盘之间的交换。底层的读写交换，是由操做系统kernel内核完成的。服务器
1.1.1. 内核缓冲与进程缓冲区
缓冲区的目的，是为了减小频繁的系统IO调用。你们都知道，系统调用须要保存以前的进程数据和状态等信息，而结束调用以后回来还须要恢复以前的信息，为了减小这种损耗时间、也损耗性能的系统调用，因而出现了缓冲区。网络
有了缓冲区，操做系统使用read函数把数据从内核缓冲区复制到进程缓冲区，write把数据从进程缓冲区复制到内核缓冲区中。等待缓冲区达到必定数量的时候，再进行IO的调用，提高性能。至于何时读取和存储则由内核来决定，用户程序不须要关心。并发
在linux系统中，系统内核也有个缓冲区叫作内核缓冲区。每一个进程有本身独立的缓冲区，叫作进程缓冲区。
因此，用户程序的IO读写程序，大多数状况下，并无进行实际的IO操做，而是在读写本身的进程缓冲区。
1.1.2. java IO读写的底层流程
用户程序进行IO的读写，基本上会用到系统调用read&write，read把数据从内核缓冲区复制到进程缓冲区，write把数据从进程缓冲区复制到内核缓冲区，它们不等价于数据在内核缓冲区和磁盘之间的交换。
首先看看一个典型Java 服务端处理网络请求的典型过程：
（1）客户端请求
Linux经过网卡，读取客户断的请求数据，将数据读取到内核缓冲区。
（2）获取请求数据
服务器从内核缓冲区读取数据到Java进程缓冲区。
（1）服务器端业务处理
Java服务端在本身的用户空间中，处理客户端的请求。
（2）服务器端返回数据
Java服务端已构建好的响应，从用户缓冲区写入系统缓冲区。
（3）发送给客户端
Linux内核经过网络 I/O ，将内核缓冲区中的数据，写入网卡，网卡经过底层的通信协议，会将数据发送给目标客户端。
1.2. 四种主要的IO模型
服务器端编程常常须要构造高性能的IO模型，常见的IO模型有四种：
（1）同步阻塞IO（Blocking IO）
首先，解释一下这里的阻塞与非阻塞：
阻塞IO，指的是须要内核IO操做完全完成后，才返回到用户空间，执行用户的操做。阻塞指的是用户空间程序的执行状态，用户空间程序需等到IO操做完全完成。传统的IO模型都是同步阻塞IO。在java中，默认建立的socket都是阻塞的。
其次，解释一下同步与异步：
同步IO，是一种用户空间与内核空间的调用发起方式。同步IO是指用户空间线程是主动发起IO请求的一方，内核空间是被动接受方。异步IO则反过来，是指内核kernel是主动发起IO请求的一方，用户线程是被动接受方。
（4）同步非阻塞IO（Non-blocking IO）
非阻塞IO，指的是用户程序不须要等待内核IO操做完成后，内核当即返回给用户一个状态值，用户空间无需等到内核的IO操做完全完成，能够当即返回用户空间，执行用户的操做，处于非阻塞的状态。
简单的说：阻塞是指用户空间（调用线程）一直在等待，并且别的事情什么都不作；非阻塞是指用户空间（调用线程）拿到状态就返回，IO操做能够干就干，不能够干，就去干的事情。
非阻塞IO要求socket被设置为NONBLOCK。
强调一下，这里所说的NIO（同步非阻塞IO）模型，并不是Java的NIO（New IO）库。
（3）IO多路复用（IO Multiplexing）
即经典的Reactor设计模式，有时也称为异步阻塞IO，Java中的Selector和Linux中的epoll都是这种模型。
（5）异步IO（Asynchronous IO）
异步IO，指的是用户空间与内核空间的调用方式反过来。用户空间线程是变成被动接受的，内核空间是主动调用者。
这一点，有点相似于Java中比较典型的模式是回调模式，用户空间线程向内核空间注册各类IO事件的回调函数，由内核去主动调用。
1.3. 同步阻塞IO（Blocking IO）
在linux中的Java进程中，默认状况下全部的socket都是blocking IO。在阻塞式 I/O 模型中，应用程序在从IO系统调用开始，一直到到系统调用返回，这段时间是阻塞的。返回成功后，应用进程开始处理用户空间的缓存数据。
举个栗子，发起一个blocking socket的read读操做系统调用，流程大概是这样：
（1）当用户线程调用了read系统调用，内核（kernel）就开始了IO的第一个阶段：准备数据。不少时候，数据在一开始尚未到达（好比，尚未收到一个完整的Socket数据包），这个时候kernel就要等待足够的数据到来。
（2）当kernel一直等到数据准备好了，它就会将数据从kernel内核缓冲区，拷贝到用户缓冲区（用户内存），而后kernel返回结果。
（3）从开始IO读的read系统调用开始，用户线程就进入阻塞状态。一直到kernel返回结果后，用户线程才解除block的状态，从新运行起来。
因此，blocking IO的特色就是在内核进行IO执行的两个阶段，用户线程都被block了。
BIO的优势：
程序简单，在阻塞等待数据期间，用户线程挂起。用户线程基本不会占用 CPU 资源。
BIO的缺点：
通常状况下，会为每一个链接配套一条独立的线程，或者说一条线程维护一个链接成功的IO流的读写。在并发量小的状况下，这个没有什么问题。可是，当在高并发的场景下，须要大量的线程来维护大量的网络链接，内存、线程切换开销会很是巨大。所以，基本上，BIO模型在高并发场景下是不可用的。
1.4. 同步非阻塞NIO（None Blocking IO）
在linux系统下，能够经过设置socket使其变为non-blocking。NIO 模型中应用程序在一旦开始IO系统调用，会出现如下两种状况：
（1）在内核缓冲区没有数据的状况下，系统调用会当即返回，返回一个调用失败的信息。
（2）在内核缓冲区有数据的状况下，是阻塞的，直到数据从内核缓冲复制到用户进程缓冲。复制完成后，系统调用返回成功，应用进程开始处理用户空间的缓存数据。
举个栗子。发起一个non-blocking socket的read读操做系统调用，流程是这个样子：
（1）在内核数据没有准备好的阶段，用户线程发起IO请求时，当即返回。用户线程须要不断地发起IO系统调用。
（2）内核数据到达后，用户线程发起系统调用，用户线程阻塞。内核开始复制数据。它就会将数据从kernel内核缓冲区，拷贝到用户缓冲区（用户内存），而后kernel返回结果。
（3）用户线程才解除block的状态，从新运行起来。通过屡次的尝试，用户线程终于真正读取到数据，继续执行。
NIO的特色：
应用程序的线程须要不断的进行 I/O 系统调用，轮询数据是否已经准备好，若是没有准备好，继续轮询，直到完成系统调用为止。
NIO的优势：每次发起的 IO 系统调用，在内核的等待数据过程当中能够当即返回。用户线程不会阻塞，实时性较好。
NIO的缺点：须要不断的重复发起IO系统调用，这种不断的轮询，将会不断地询问内核，这将占用大量的 CPU 时间，系统资源利用率较低。
总之，NIO模型在高并发场景下，也是不可用的。通常 Web 服务器不使用这种 IO 模型。通常不多直接使用这种模型，而是在其余IO模型中使用非阻塞IO这一特性。java的实际开发中，也不会涉及这种IO模型。
再次说明，Java NIO（New IO） 不是IO模型中的NIO模型，而是另外的一种模型，叫作IO多路复用模型（ IO multiplexing ）。
1.5. IO多路复用模型(I/O multiplexing）
如何避免同步非阻塞NIO模型中轮询等待的问题呢？这就是IO多路复用模型。
IO多路复用模型，就是经过一种新的系统调用，一个进程能够监视多个文件描述符，一旦某个描述符就绪（通常是内核缓冲区可读/可写），内核kernel可以通知程序进行相应的IO系统调用。
目前支持IO多路复用的系统调用，有 select，epoll等等。select系统调用，是目前几乎在全部的操做系统上都有支持，具备良好跨平台特性。epoll是在linux 2.6内核中提出的，是select系统调用的linux加强版本。
IO多路复用模型的基本原理就是select/epoll系统调用，单个线程不断的轮询select/epoll系统调用所负责的成百上千的socket链接，当某个或者某些socket网络链接有数据到达了，就返回这些能够读写的链接。所以，好处也就显而易见了——经过一次select/epoll系统调用，就查询到到能够读写的一个甚至是成百上千的网络链接。
举个栗子。发起一个多路复用IO的的read读操做系统调用，流程是这个样子：
在这种模式中，首先不是进行read系统调动，而是进行select/epoll系统调用。固然，这里有一个前提，须要将目标网络链接，提早注册到select/epoll的可查询socket列表中。而后，才能够开启整个的IO多路复用模型的读流程。
（1）进行select/epoll系统调用，查询能够读的链接。kernel会查询全部select的可查询socket列表，当任何一个socket中的数据准备好了，select就会返回。
当用户进程调用了select，那么整个线程会被block（阻塞掉）。
（2）用户线程得到了目标链接后，发起read系统调用，用户线程阻塞。内核开始复制数据。它就会将数据从kernel内核缓冲区，拷贝到用户缓冲区（用户内存），而后kernel返回结果。
（3）用户线程才解除block的状态，用户线程终于真正读取到数据，继续执行。
多路复用IO的特色：
IO多路复用模型，创建在操做系统kernel内核可以提供的多路分离系统调用select/epoll基础之上的。多路复用IO须要用到两个系统调用（system call）， 一个select/epoll查询调用，一个是IO的读取调用。
和NIO模型类似，多路复用IO须要轮询。负责select/epoll查询调用的线程，须要不断的进行select/epoll轮询，查找出能够进行IO操做的链接。
另外，多路复用IO模型与前面的NIO模型，是有关系的。对于每个能够查询的socket，通常都设置成为non-blocking模型。只是这一点，对于用户程序是透明的（不感知）。
多路复用IO的优势：
用select/epoll的优点在于，它能够同时处理成千上万个链接（connection）。与一条线程维护一个链接相比，I/O多路复用技术的最大优点是：系统没必要建立线程，也没必要维护这些线程，从而大大减少了系统的开销。
Java的NIO（new IO）技术，使用的就是IO多路复用模型。在linux系统上，使用的是epoll系统调用。
多路复用IO的缺点：
本质上，select/epoll系统调用，属于同步IO，也是阻塞IO。都须要在读写事件就绪后，本身负责进行读写，也就是说这个读写过程是阻塞的。
如何充分的解除线程的阻塞呢？那就是异步IO模型。
1.6. 异步IO模型（asynchronous IO）
如何进一步提高效率，解除最后一点阻塞呢？这就是异步IO模型，全称asynchronous I/O，简称为AIO。
AIO的基本流程是：用户线程经过系统调用，告知kernel内核启动某个IO操做，用户线程返回。kernel内核在整个IO操做（包括数据准备、数据复制）完成后，通知用户程序，用户执行后续的业务操做。
kernel的数据准备是将数据从网络物理设备（网卡）读取到内核缓冲区；kernel的数据复制是将数据从内核缓冲区拷贝到用户程序空间的缓冲区。
（1）当用户线程调用了read系统调用，马上就能够开始去作其它的事，用户线程不阻塞。
（2）内核（kernel）就开始了IO的第一个阶段：准备数据。当kernel一直等到数据准备好了，它就会将数据从kernel内核缓冲区，拷贝到用户缓冲区（用户内存）。
（3）kernel会给用户线程发送一个信号（signal），或者回调用户线程注册的回调接口，告诉用户线程read操做完成了。
（4）用户线程读取用户缓冲区的数据，完成后续的业务操做。
异步IO模型的特色：
在内核kernel的等待数据和复制数据的两个阶段，用户线程都不是block(阻塞)的。用户线程须要接受kernel的IO操做完成的事件，或者说注册IO操做完成的回调函数，到操做系统的内核。因此说，异步IO有的时候，也叫作信号驱动 IO 。
异步IO模型缺点：
须要完成事件的注册与传递，这里边须要底层操做系统提供大量的支持，去作大量的工做。
目前来讲， Windows 系统下经过 IOCP 实现了真正的异步 I/O。可是，就目前的业界形式来讲，Windows 系统，不多做为百万级以上或者说高并发应用的服务器操做系统来使用。
而在 Linux 系统下，异步IO模型在2.6版本才引入，目前并不完善。因此，这也是在 Linux 下，实现高并发网络编程时都是以 IO 复用模型模式为主。
小结一下：
四种IO模型，理论上越日后，阻塞越少，效率也是最优。在这四种 I/O 模型中，前三种属于同步 I/O，由于其中真正的 I/O 操做将阻塞线程。只有最后一种，才是真正的异步 I/O 模型，惋惜目前Linux 操做系统尚欠完善。
写在最后
本篇做为[疯狂创客圈]的百万级流量高并发实战的一篇基础篇的文章，后续还有分布式协调，分布式网关等系列文章出来。
疯狂创客圈 百万级流量 高并发实战
Java (Netty) 聊天程序【 亿级流量】实战 开源项目实战
- Netty 源码、原理、JAVA NIO 原理
- Java 面试题 一网打尽
疯狂创客圈 【 博客园 总入口 】