带你通透Netty原理之架构解析

Netty 是一个异步事件驱动的网络应用程序框架，用于快速开发可维护的高性能协议服务器和客户端。

给你们推荐一个程序员学习扣群：854818273。群里有分享的视频，还有思惟导图
群公告有视频，都是干货的，你能够下载来看。主要分享分布式架构、高可扩展、高性能、高并发、性能优化、Spring boot、Redis、ActiveMQ、Nginx、Mycat、Netty、Jvm大型分布式项目实战学习架构师视频。

JDK 原生 NIO 程序的问题

JDK 原生也有一套网络应用程序 API，可是存在一系列问题，主要以下：

• NIO 的类库和 API 繁杂，使用麻烦。你须要熟练掌握 Selector、ServerSocketChannel、SocketChannel、ByteBuffer 等。
• 须要具有其余的额外技能作铺垫。例如熟悉 Java 多线程编程，由于 NIO 编程涉及到 Reactor 模式，你必须对多线程和网路编程很是熟悉，才能编写出高质量的 NIO 程序。
• 可靠性能力补齐，开发工做量和难度都很是大。例如客户端面临断连重连、网络闪断、半包读写、失败缓存、网络拥塞和异常码流的处理等等。
• NIO 编程的特色是功能开发相对容易，可是可靠性能力补齐工做量和难度都很是大。
• JDK NIO 的 Bug。例如臭名昭著的 Epoll Bug，它会致使 Selector 空轮询，最终致使 CPU 100%。
• 官方声称在 JDK 1.6 版本的 update 18 修复了该问题，可是直到 JDK 1.7 版本该问题仍旧存在，只不过该 Bug 发生几率下降了一些而已，它并无被根本解决。

Netty 的特色

Netty 对 JDK 自带的 NIO 的 API 进行封装，解决上述问题，主要特色有：

• 设计优雅，适用于各类传输类型的统一 API 阻塞和非阻塞 Socket；基于灵活且可扩展的事件模型，能够清晰地分离关注点；高度可定制的线程模型 - 单线程，一个或多个线程池；真正的无链接数据报套接字支持（自 3.1 起）。
• 使用方便，详细记录的 Javadoc，用户指南和示例；没有其余依赖项，JDK 5（Netty 3.x）或 6（Netty 4.x）就足够了。
• 高性能，吞吐量更高，延迟更低；减小资源消耗；最小化没必要要的内存复制。
• 安全，完整的 SSL/TLS 和 StartTLS 支持。
• 社区活跃，不断更新，社区活跃，版本迭代周期短，发现的 Bug 能够被及时修复，同时，更多的新功能会被加入。

Netty 常见使用场景

Netty 常见的使用场景以下：

• 互联网行业。在分布式系统中，各个节点之间须要远程服务调用，高性能的 RPC 框架必不可少，Netty 做为异步高性能的通讯框架，每每做为基础通讯组件被这些 RPC 框架使用。
• 典型的应用有：阿里分布式服务框架 Dubbo 的 RPC 框架使用 Dubbo 协议进行节点间通讯，Dubbo 协议默认使用 Netty 做为基础通讯组件，用于实现各进程节点之间的内部通讯。
• 游戏行业。不管是手游服务端仍是大型的网络游戏，Java 语言获得了愈来愈普遍的应用。Netty 做为高性能的基础通讯组件，它自己提供了 TCP/UDP 和 HTTP 协议栈。
• 很是方便定制和开发私有协议栈，帐号登陆服务器，地图服务器之间能够方便的经过 Netty 进行高性能的通讯。
• 大数据领域。经典的 Hadoop 的高性能通讯和序列化组件 Avro 的 RPC 框架，默认采用 Netty 进行跨界点通讯，它的 Netty Service 基于 Netty 框架二次封装实现。

有兴趣的读者能够了解一下目前有哪些开源项目使用了 Netty：Related Projects。

Netty 高性能设计

Netty 做为异步事件驱动的网络，高性能之处主要来自于其 I/O 模型和线程处理模型，前者决定如何收发数据，后者决定如何处理数据。

I/O 模型

用什么样的通道将数据发送给对方，BIO、NIO 或者 AIO，I/O 模型在很大程度上决定了框架的性能。

阻塞 I/O

传统阻塞型 I/O(BIO)能够用下图表示：

Blocking I/O

特色以下：

• 每一个请求都须要独立的线程完成数据 Read，业务处理，数据 Write 的完整操做问题。
• 当并发数较大时，须要建立大量线程来处理链接，系统资源占用较大。
• 链接创建后，若是当前线程暂时没有数据可读，则线程就阻塞在 Read 操做上，形成线程资源浪费。

I/O 复用模型

在 I/O 复用模型中，会用到 Select，这个函数也会使进程阻塞，可是和阻塞 I/O 所不一样的是这两个函数能够同时阻塞多个 I/O 操做。

并且能够同时对多个读操做，多个写操做的 I/O 函数进行检测，直到有数据可读或可写时，才真正调用 I/O 操做函数。

Netty 的非阻塞 I/O 的实现关键是基于 I/O 复用模型，这里用 Selector 对象表示：

Nonblocking I/O

Netty 的 IO 线程 NioEventLoop 因为聚合了多路复用器 Selector，能够同时并发处理成百上千个客户端链接。

当线程从某客户端 Socket 通道进行读写数据时，若没有数据可用时，该线程能够进行其余任务。

线程一般将非阻塞 IO 的空闲时间用于在其余通道上执行 IO 操做，因此单独的线程能够管理多个输入和输出通道。

因为读写操做都是非阻塞的，这就能够充分提高 IO 线程的运行效率，避免因为频繁 I/O 阻塞致使的线程挂起。

一个 I/O 线程能够并发处理 N 个客户端链接和读写操做，这从根本上解决了传统同步阻塞 I/O 一链接一线程模型，架构的性能、弹性伸缩能力和可靠性都获得了极大的提高。

基于 Buffer

传统的 I/O 是面向字节流或字符流的，以流式的方式顺序地从一个 Stream 中读取一个或多个字节, 所以也就不能随意改变读取指针的位置。

在 NIO 中，抛弃了传统的 I/O 流，而是引入了 Channel 和 Buffer 的概念。在 NIO 中，只能从 Channel 中读取数据到 Buffer 中或将数据从 Buffer 中写入到 Channel。

基于 Buffer 操做不像传统 IO 的顺序操做，NIO 中能够随意地读取任意位置的数据。

线程模型

数据报如何读取？读取以后的编解码在哪一个线程进行，编解码后的消息如何派发，线程模型的不一样，对性能的影响也很是大。

事件驱动模型

一般，咱们设计一个事件处理模型的程序有两种思路：

• 轮询方式，线程不断轮询访问相关事件发生源有没有发生事件，有发生事件就调用事件处理逻辑。
• 事件驱动方式，发生事件，主线程把事件放入事件队列，在另外线程不断循环消费事件列表中的事件，调用事件对应的处理逻辑处理事件。事件驱动方式也被称为消息通知方式，实际上是设计模式中观察者模式的思路。

以 GUI 的逻辑处理为例，说明两种逻辑的不一样：

• 轮询方式，线程不断轮询是否发生按钮点击事件，若是发生，调用处理逻辑。
• 事件驱动方式，发生点击事件把事件放入事件队列，在另外线程消费的事件列表中的事件，根据事件类型调用相关事件处理逻辑。

这里借用 O'Reilly 大神关于事件驱动模型解释图：

事件驱动模型

主要包括 4 个基本组件：

• 事件队列（event queue）：接收事件的入口，存储待处理事件。
• 分发器（event mediator）：将不一样的事件分发到不一样的业务逻辑单元。
• 事件通道（event channel）：分发器与处理器之间的联系渠道。
• 事件处理器（event processor）：实现业务逻辑，处理完成后会发出事件，触发下一步操做。

能够看出，相对传统轮询模式，事件驱动有以下优势：

• 可扩展性好，分布式的异步架构，事件处理器之间高度解耦，能够方便扩展事件处理逻辑。
• 高性能，基于队列暂存事件，能方便并行异步处理事件。

Reactor 线程模型

Reactor 是反应堆的意思，Reactor 模型是指经过一个或多个输入同时传递给服务处理器的服务请求的事件驱动处理模式。

服务端程序处理传入多路请求，并将它们同步分派给请求对应的处理线程，Reactor 模式也叫 Dispatcher 模式，即 I/O 多了复用统一监听事件，收到事件后分发(Dispatch 给某进程)，是编写高性能网络服务器的必备技术之一。

Reactor 模型中有 2 个关键组成：

• Reactor，Reactor 在一个单独的线程中运行，负责监听和分发事件，分发给适当的处理程序来对 IO 事件作出反应。它就像公司的电话接线员，它接听来自客户的电话并将线路转移到适当的联系人。
• Handlers，处理程序执行 I/O 事件要完成的实际事件，相似于客户想要与之交谈的公司中的实际官员。Reactor 经过调度适当的处理程序来响应 I/O 事件，处理程序执行非阻塞操做。

Reactor 模型

取决于 Reactor 的数量和 Hanndler 线程数量的不一样，Reactor 模型有 3 个变种：

• 单 Reactor 单线程。
• 单 Reactor 多线程。
• 主从 Reactor 多线程。

能够这样理解，Reactor 就是一个执行 while (true) { selector.select(); …} 循环的线程，会源源不断的产生新的事件，称做反应堆很贴切。

篇幅关系，这里再也不具体展开 Reactor 特性、优缺点比较，有兴趣的读者能够参考我以前另一篇文章：《理解高性能网络模型》。

Netty 线程模型

Netty 主要基于主从 Reactors 多线程模型（以下图）作了必定的修改，其中主从 Reactor 多线程模型有多个 Reactor：

• MainReactor 负责客户端的链接请求，并将请求转交给 SubReactor。
• SubReactor 负责相应通道的 IO 读写请求。
• 非 IO 请求（具体逻辑处理）的任务则会直接写入队列，等待 worker threads 进行处理。

这里引用 Doug Lee 大神的 Reactor 介绍：Scalable IO in Java 里面关于主从 Reactor 多线程模型的图：

主从 Rreactor 多线程模型

特别说明的是：虽然 Netty 的线程模型基于主从 Reactor 多线程，借用了 MainReactor 和 SubReactor 的结构。可是实际实现上 SubReactor 和 Worker 线程在同一个线程池中：

上面代码中的 bossGroup 和 workerGroup 是 Bootstrap 构造方法中传入的两个对象，这两个 group 均是线程池：

• bossGroup 线程池则只是在 Bind 某个端口后，得到其中一个线程做为 MainReactor，专门处理端口的 Accept 事件，每一个端口对应一个 Boss 线程。
• workerGroup 线程池会被各个 SubReactor 和 Worker 线程充分利用。

给你们推荐一个程序员学习扣群：854818273。群里有分享的视频，还有思惟导图
群公告有视频，都是干货的，你能够下载来看。主要分享分布式架构、高可扩展、高性能、高并发、性能优化、Spring boot、Redis、ActiveMQ、Nginx、Mycat、Netty、Jvm大型分布式项目实战学习架构师视频。​​​​​​​

异步处理

异步的概念和同步相对。当一个异步过程调用发出后，调用者不能马上获得结果。实际处理这个调用的部件在完成后，经过状态、通知和回调来通知调用者。

Netty 中的 I/O 操做是异步的，包括 Bind、Write、Connect 等操做会简单的返回一个 ChannelFuture。

调用者并不能马上得到结果，而是经过 Future-Listener 机制，用户能够方便的主动获取或者经过通知机制得到 IO 操做结果。

当 Future 对象刚刚建立时，处于非完成状态，调用者能够经过返回的 ChannelFuture 来获取操做执行的状态，注册监听函数来执行完成后的操做。

常见有以下操做：

• 经过 isDone 方法来判断当前操做是否完成。
• 经过 isSuccess 方法来判断已完成的当前操做是否成功。
• 经过 getCause 方法来获取已完成的当前操做失败的缘由。
• 经过 isCancelled 方法来判断已完成的当前操做是否被取消。
• 经过 addListener 方法来注册监听器，当操做已完成(isDone 方法返回完成)，将会通知指定的监听器；若是 Future 对象已完成，则理解通知指定的监听器。

例以下面的代码中绑定端口是异步操做，当绑定操做处理完，将会调用相应的监听器处理逻辑。

Netty 架构设计

前面介绍完 Netty 相关一些理论，下面从功能特性、模块组件、运做过程来介绍 Netty 的架构设计。

功能特性

Netty 功能特性以下：

• 传输服务，支持 BIO 和 NIO。
• 容器集成，支持 OSGI、JBossMC、Spring、Guice 容器。
• 协议支持，HTTP、Protobuf、二进制、文本、WebSocket 等一系列常见协议都支持。还支持经过实行编码解码逻辑来实现自定义协议。
• Core 核心，可扩展事件模型、通用通讯 API、支持零拷贝的 ByteBuf 缓冲对象。

模块组件

Bootstrap、ServerBootstrap

Bootstrap 意思是引导，一个 Netty 应用一般由一个 Bootstrap 开始，主要做用是配置整个 Netty 程序，串联各个组件，Netty 中 Bootstrap 类是客户端程序的启动引导类，ServerBootstrap 是服务端启动引导类。

Future、ChannelFuture

正如前面介绍，在 Netty 中全部的 IO 操做都是异步的，不能马上得知消息是否被正确处理。

可是能够过一会等它执行完成或者直接注册一个监听，具体的实现就是经过 Future 和 ChannelFutures，他们能够注册一个监听，当操做执行成功或失败时监听会自动触发注册的监听事件。

Channel

Netty 网络通讯的组件，可以用于执行网络 I/O 操做。Channel 为用户提供：

• 当前网络链接的通道的状态（例如是否打开？是否已链接？）
• 网络链接的配置参数 （例如接收缓冲区大小）
• 提供异步的网络 I/O 操做(如创建链接，读写，绑定端口)，异步调用意味着任何 I/O 调用都将当即返回，而且不保证在调用结束时所请求的 I/O 操做已完成。
• 调用当即返回一个 ChannelFuture 实例，经过注册监听器到 ChannelFuture 上，能够 I/O 操做成功、失败或取消时回调通知调用方。
• 支持关联 I/O 操做与对应的处理程序。

不一样协议、不一样的阻塞类型的链接都有不一样的 Channel 类型与之对应。下面是一些经常使用的 Channel 类型：

• NioSocketChannel，异步的客户端 TCP Socket 链接。
• NioServerSocketChannel，异步的服务器端 TCP Socket 链接。
• NioDatagramChannel，异步的 UDP 链接。
• NioSctpChannel，异步的客户端 Sctp 链接。
• NioSctpServerChannel，异步的 Sctp 服务器端链接，这些通道涵盖了 UDP 和 TCP 网络 IO 以及文件 IO。

Selector

Netty 基于 Selector 对象实现 I/O 多路复用，经过 Selector 一个线程能够监听多个链接的 Channel 事件。

当向一个 Selector 中注册 Channel 后，Selector 内部的机制就能够自动不断地查询(Select) 这些注册的 Channel 是否有已就绪的 I/O 事件（例如可读，可写，网络链接完成等），这样程序就能够很简单地使用一个线程高效地管理多个 Channel 。

NioEventLoop

NioEventLoop 中维护了一个线程和任务队列，支持异步提交执行任务，线程启动时会调用 NioEventLoop 的 run 方法，执行 I/O 任务和非 I/O 任务：

• I/O 任务，即 selectionKey 中 ready 的事件，如 accept、connect、read、write 等，由 processSelectedKeys 方法触发。
• 非 IO 任务，添加到 taskQueue 中的任务，如 register0、bind0 等任务，由 runAllTasks 方法触发。

两种任务的执行时间比由变量 ioRatio 控制，默认为 50，则表示容许非 IO 任务执行的时间与 IO 任务的执行时间相等。

NioEventLoopGroup

NioEventLoopGroup，主要管理 eventLoop 的生命周期，能够理解为一个线程池，内部维护了一组线程，每一个线程(NioEventLoop)负责处理多个 Channel 上的事件，而一个 Channel 只对应于一个线程。

ChannelHandler

ChannelHandler 是一个接口，处理 I/O 事件或拦截 I/O 操做，并将其转发到其 ChannelPipeline(业务处理链)中的下一个处理程序。

ChannelHandler 自己并无提供不少方法，由于这个接口有许多的方法须要实现，方便使用期间，能够继承它的子类：

• ChannelInboundHandler 用于处理入站 I/O 事件。
• ChannelOutboundHandler 用于处理出站 I/O 操做。

或者使用如下适配器类：

• ChannelInboundHandlerAdapter 用于处理入站 I/O 事件。
• ChannelOutboundHandlerAdapter 用于处理出站 I/O 操做。
• ChannelDuplexHandler 用于处理入站和出站事件。

ChannelHandlerContext

保存 Channel 相关的全部上下文信息，同时关联一个 ChannelHandler 对象。

ChannelPipline

保存 ChannelHandler 的 List，用于处理或拦截 Channel 的入站事件和出站操做。

ChannelPipeline 实现了一种高级形式的拦截过滤器模式，使用户能够彻底控制事件的处理方式，以及 Channel 中各个的 ChannelHandler 如何相互交互。

下图引用 Netty 的 Javadoc 4.1 中 ChannelPipeline 的说明，描述了 ChannelPipeline 中 ChannelHandler 一般如何处理 I/O 事件。

I/O 事件由 ChannelInboundHandler 或 ChannelOutboundHandler 处理，并经过调用 ChannelHandlerContext 中定义的事件传播方法。

例如 ChannelHandlerContext.fireChannelRead（Object）和 ChannelOutboundInvoker.write（Object）转发到其最近的处理程序。

给你们推荐一个程序员学习扣群：854818273。群里有分享的视频，还有思惟导图
群公告有视频，都是干货的，你能够下载来看。主要分享分布式架构、高可扩展、高性能、高并发、性能优化、Spring boot、Redis、ActiveMQ、Nginx、Mycat、Netty、Jvm大型分布式项目实战学习架构师视频。​​​​​​​

入站事件由自下而上方向的入站处理程序处理，如图左侧所示。入站 Handler 处理程序一般处理由图底部的 I/O 线程生成的入站数据。

一般经过实际输入操做（例如 SocketChannel.read（ByteBuffer））从远程读取入站数据。

出站事件由上下方向处理，如图右侧所示。出站 Handler 处理程序一般会生成或转换出站传输，例如 write 请求。

I/O 线程一般执行实际的输出操做，例如 SocketChannel.write（ByteBuffer）。

在 Netty 中每一个 Channel 都有且仅有一个 ChannelPipeline 与之对应，它们的组成关系以下：

一个 Channel 包含了一个 ChannelPipeline，而 ChannelPipeline 中又维护了一个由 ChannelHandlerContext 组成的双向链表，而且每一个 ChannelHandlerContext 中又关联着一个 ChannelHandler。

入站事件和出站事件在一个双向链表中，入站事件会从链表 head 日后传递到最后一个入站的 handler，出站事件会从链表 tail 往前传递到最前一个出站的 handler，两种类型的 handler 互不干扰。

Netty 工做原理架构

基本过程以下：

• 初始化建立 2 个 NioEventLoopGroup，其中 boosGroup 用于 Accetpt 链接创建事件并分发请求，workerGroup 用于处理 I/O 读写事件和业务逻辑。
• 基于 ServerBootstrap(服务端启动引导类)，配置 EventLoopGroup、Channel 类型，链接参数、配置入站、出站事件 handler。
• 绑定端口，开始工做。

结合上面介绍的 Netty Reactor 模型，介绍服务端 Netty 的工做架构图：

服务端 Netty Reactor 工做架构图

Server 端包含 1 个 Boss NioEventLoopGroup 和 1 个 Worker NioEventLoopGroup。

NioEventLoopGroup 至关于 1 个事件循环组，这个组里包含多个事件循环 NioEventLoop，每一个 NioEventLoop 包含 1 个 Selector 和 1 个事件循环线程。

每一个 Boss NioEventLoop 循环执行的任务包含 3 步：

• 轮询 Accept 事件。
• 处理 Accept I/O 事件，与 Client 创建链接，生成 NioSocketChannel，并将 NioSocketChannel 注册到某个 Worker NioEventLoop 的 Selector 上。
• 处理任务队列中的任务，runAllTasks。任务队列中的任务包括用户调用 eventloop.execute 或 schedule 执行的任务，或者其余线程提交到该 eventloop 的任务。

每一个 Worker NioEventLoop 循环执行的任务包含 3 步：

• 轮询 Read、Write 事件。
• 处理 I/O 事件，即 Read、Write 事件，在 NioSocketChannel 可读、可写事件发生时进行处理。
• 处理任务队列中的任务，runAllTasks。

其中任务队列中的 Task 有 3 种典型使用场景。

①用户程序自定义的普通任务

②非当前 Reactor 线程调用 Channel 的各类方法

例如在推送系统的业务线程里面，根据用户的标识，找到对应的 Channel 引用，而后调用 Write 类方法向该用户推送消息，就会进入到这种场景。最终的 Write 会提交到任务队列中后被异步消费。

③用户自定义定时任务

总结

如今稳定推荐使用的主流版本仍是 Netty4，Netty5 中使用了 ForkJoinPool，增长了代码的复杂度，可是对性能的改善却不明显，因此这个版本不推荐使用，官网也没有提供下载连接。

Netty 入门门槛相对较高，是由于这方面的资料较少，并非由于它有多难，你们其实均可以像搞透 Spring 同样搞透 Netty。

在学习以前，建议先理解透整个框架原理结构，运行过程，能够少走不少弯路。

参考资料：

• Netty入门与实战：仿写微信 IM 即时通信系统
• Netty官网
• Netty 4.x学习笔记 - 线程模型
• Netty入门与实战
• 理解高性能网络模型
• Netty基本原理介绍
• software-architecture-patterns.pdf
• Netty高性能之道 —— 李林锋
• 《Netty In Action》
• 《Netty权威指南》
• 给你们推荐一个程序员学习扣群：854818273。群里有分享的视频，还有思惟导图群公告有视频，都是干货的，你能够下载来看。主要分享分布式架构、高可扩展、高性能、高并发、性能优化、Spring boot、Redis、ActiveMQ、Nginx、Mycat、Netty、Jvm大型分布式项目实战学习架构师视频。