原文地址: https://wangwei.one/posts/net...
前面,咱们大体了解了Netty中的几个核心组件。今天咱们就来先来介绍Netty的网络通讯组件,用于执行网络I/O操做 —— Channel。html
Netty版本:4.1.30
数据在网络中老是以字节的形式进行流通。咱们在进行网络编程时选用何种传输方式编码(OIO、NIO等)决定了这些字节的传输方式。java
在没有Netty以前,为了提高系统的并发能力,从OIO切换到NIO时,须要对代码进行大量的重构,由于相应的Java NIO 与 IO API大不相同。而Netty在这些Java原生API的基础上作了一层封装,对用户提供了高度抽象而又统一的API,从而让传输方式的切换不在变得困难,只须要直接使用便可,而不须要对整个代码进行重构。ios
netty channel族以下:编程
整个族群中,AbstractChannel 是最为关键的一个抽象类,从它继承出了AbstractNioChannel、AbstractOioChannel、AbstractEpollChannel、LocalChannel、EmbeddedChannel等类,每一个类表明了不一样的协议以及相应的IO模型。除了 TCP 协议之外,Netty 还支持不少其余的链接协议,而且每种协议还有 NIO(异步 IO) 和 OIO(Old-IO,即传统的阻塞 IO) 版本的区别. 不一样协议不一样的阻塞类型的链接都有不一样的 Channel 类型与之对应。下面是一些经常使用的 Channel 类型:segmentfault
咱们先来看下最顶层接口 channel 主要的API,经常使用的以下:api
接口名 | 描述 |
---|---|
eventLoop() | Channel须要注册到EventLoop的多路复用器上,用于处理I/O事件,经过eventLoop()方法能够获取到Channel注册的EventLoop。EventLoop本质上就是处理网络读写事件的Reactor线程。在Netty中,它不只仅用来处理网络事件,也能够用来执行定时任务和用户自定义NioTask等任务。 |
pipeline() | 返回channel分配的ChannelPipeline |
isActive() | 判断channel是否激活。激活的意义取决于底层的传输类型。例如,一个Socket传输一旦链接到了远程节点即是活动的,而一个Datagram传输一旦被打开即是活动的 |
localAddress() | 返回本地的socket地址 |
remoteAddress() | 返回远程的socket地址 |
flush() | 将以前已写的数据冲刷到底层Channel上去 |
write(Object msg) | 请求将当前的msg经过ChannelPipeline写入到目标Channel中。注意,write操做只是将消息存入到消息发送环形数组中,并无真正被发送,只有调用flush操做才会被写入到Channel中,发送给对方。 |
writeAndFlush() | 等同于调用write()并接着调用flush() |
metadate() | 熟悉TCP协议的读者可能知道,当建立Socket的时候须要指定TCP参数,例如接收和发送的TCP缓冲区大小,TCP的超时时间。是否重用地址等。在Netty中,每一个Channel对应一个物理连接,每一个链接都有本身的TCP参数配置。因此,Channel会聚合一个ChannelMetadata用来对TCP参数提供元数据描述信息,经过metadata()方法就能够获取当前Channel的TCP参数配置。 |
read() | 从当前的Channel中读取数据到第一个inbound缓冲区中,若是数据被成功读取,触发ChannelHandler.channelRead(ChannelHandlerContext,Object)事件。读取操做API调用完成后,紧接着会触发ChannelHander.channelReadComplete(ChannelHandlerContext)事件,这样业务的ChannelHandler能够决定是否须要继续读取数据。若是已经有操做请求被挂起,则后续的读操做会被忽略。 |
close(ChannelPromise promise) | 主动关闭当前链接,经过ChannelPromise设置操做结果并进行结果通知,不管操做是否成功,均可以经过ChannelPromise获取操做结果。该操做会级联触发ChannelPipeline中全部ChannelHandler的ChannelHandler.close(ChannelHandlerContext,ChannelPromise)事件。 |
parent() | 对于服务端Channel而言,它的父Channel为空;对于客户端Channel,它的父Channel就是建立它的ServerSocketChannel。 |
id() | 返回ChannelId对象,ChannelId是Channel的惟一标识。 |
对Netty Channel API以及相关的类有了一个初步了解以后,接下来咱们来详细了解一下在Netty的启动过程当中Channel是如何建立的。服务端Channel的建立过程,主要分为四个步骤:1)Channel建立;2)Channel初始化;3)Channel注册;4)Channel绑定。数组
咱们如下面的代码为例进行解析:promise
// 建立两个线程组,专门用于网络事件的处理,Reactor线程组 // 用来接收客户端的链接, EventLoopGroup bossGroup = new NioEventLoopGroup(); // 用来进行SocketChannel的网络读写 EventLoopGroup workGroup = new NioEventLoopGroup(); // 建立辅助启动类ServerBootstrap,并设置相关配置: ServerBootstrap b = new ServerBootstrap(); // 设置处理Accept事件和读写操做的事件循环组 b.group(bossGroup, workGroup) // 配置Channel类型 .channel(NioServerSocketChannel.class) // 配置监听地址 .localAddress(new InetSocketAddress(port)) // 设置服务器通道的选项,设置TCP属性 .option(ChannelOption.SO_KEEPALIVE, Boolean.TRUE) // 设置创建链接后的客户端通道的选项 .childOption(ChannelOption.CONNECT_TIMEOUT_MILLIS, 5000) // channel属性,便于保存用户自定义数据 .attr(AttributeKey.newInstance("UserId"), "60293") .handler(new LoggingHandler(LogLevel.INFO)) // 设置子处理器,主要是用户的自定义处理器,用于处理IO网络事件 .childHandler(new ChannelInitializer<SocketChannel>() { @Override public void initChannel(SocketChannel ch) throws Exception { ch.pipeline().addLast(serverHandler); } }); // 调用bind()方法绑定端口,sync()会阻塞等待处理请求。这是由于bind()方法是一个异步过程,会当即返回一个ChannelFuture对象,调用sync()会等待执行完成 ChannelFuture f = b.bind().sync(); // 得到Channel的closeFuture阻塞等待关闭,服务器Channel关闭时closeFuture会完成 f.channel().closeFuture().sync();
调用channel()接口设置 AbstractBootstrap 的成员变量 channelFactory,该变量顾名思义就是用于建立channel的工厂类。源码以下:服务器
... public B channel(Class<? extends C> channelClass) { if (channelClass == null) { throw new NullPointerException("channelClass"); } // 建立 channelFactory return channelFactory(new ReflectiveChannelFactory<C>(channelClass)); } ... public B channelFactory(ChannelFactory<? extends C> channelFactory) { if (channelFactory == null) { throw new NullPointerException("channelFactory"); } if (this.channelFactory != null) { throw new IllegalStateException("channelFactory set already"); } this.channelFactory = channelFactory; return (B) this; } ...
channelFactory 设置为 ReflectiveChannelFactory ,在咱们这个例子中 clazz 为 NioServerSocketChannel ,咱们能够看到其中有个 newChannel() 接口,经过反射的方式来调用,这个接口的调用处咱们后面会介绍到。源码以下:网络
// Channel工厂类 public class ReflectiveChannelFactory<T extends Channel> implements ChannelFactory<T> { private final Class<? extends T> clazz; public ReflectiveChannelFactory(Class<? extends T> clazz) { if (clazz == null) { throw new NullPointerException("clazz"); } this.clazz = clazz; } @Override public T newChannel() { try { // 经过反射来进行常见Channel实例 return clazz.newInstance(); } catch (Throwable t) { throw new ChannelException("Unable to create Channel from class " + clazz, t); } } @Override public String toString() { return StringUtil.simpleClassName(clazz) + ".class"; } }
接下来咱们来看下 NioServerSocketChannel 的构造函数,主要就是:
private static ServerSocketChannel newSocket(SelectorProvider provider) { try { // 调用JDK底层API生成 ServerSocketChannel 对象实例 return provider.openServerSocketChannel(); } catch (IOException e) { throw new ChannelException("Failed to open a server socket.", e); } } private final ServerSocketChannelConfig config; public NioServerSocketChannel() { this(newSocket(DEFAULT_SELECTOR_PROVIDER)); } public NioServerSocketChannel(SelectorProvider provider) { this(newSocket(provider)); } public NioServerSocketChannel(ServerSocketChannel channel) { // 调用 AbstractNioChannel 构造器,建立 NioServerSocketChannel,设置SelectionKey为ACCEPT super(null, channel, SelectionKey.OP_ACCEPT); // 建立ChannleConfig对象,主要是TCP参数配置类 config = new NioServerSocketChannelConfig(this, javaChannel().socket()); }
AbstractNioChannel 的构造器以下:
protected AbstractNioChannel(Channel parent, SelectableChannel ch, int readInterestOp) { // 调用 AbstractChannel 构造器 super(parent); this.ch = ch; // 从上一步过来,这里设置为 SelectionKey.OP_ACCEPT this.readInterestOp = readInterestOp; try { // 设置为非阻塞状态 ch.configureBlocking(false); } catch (IOException e) { try { ch.close(); } catch (IOException e2) { if (logger.isWarnEnabled()) { logger.warn("Failed to close a partially initialized socket.", e2); } } throw new ChannelException("Failed to enter non-blocking mode.", e); } }
在 AbstractChannel 构造器中,会设Channel关联的三个核心对象:ChannelId、ChannelPipeline、Unsafe。
protected AbstractChannel(Channel parent) { this.parent = parent; // 设置ChannelId id = newId(); // 设置Unsafe unsafe = newUnsafe(); // 设置Pipeline pipeline = newChannelPipeline(); }
从 NioServerSocketChannelConfig 的构造函数追溯下去,在 DefaultChannelConfig 会设置channel成员变量。
public DefaultChannelConfig(Channel channel) { this(channel, new AdaptiveRecvByteBufAllocator()); } protected DefaultChannelConfig(Channel channel, RecvByteBufAllocator allocator) { setRecvByteBufAllocator(allocator, channel.metadata()); // 绑定channel this.channel = channel; }
以上就是channel建立的过程,总结一下:
主要分为如下两步:
咱们从 AbstractBootstrap 的 bind() 接口进去,调用链:bind() —> doBind(localAddress) —> initAndRegister() —> init(Channel channel),咱们看下 ServerBootstrap 中 init() 接口的实现:
final ChannelFuture initAndRegister() { Channel channel = null; try { // 调用Channel工程类的newChannel()接口,建立channel,就是前面咱们讲的部份内容 channel = channelFactory.newChannel(); // 初始化channel init(channel); } catch (Throwable t) { .... }
初始化Channel,咱们来重点看下 init(channel) 接口:
void init(Channel channel) throws Exception { // 获取启动器 启动时配置的option参数,主要是TCP的一些属性 final Map<ChannelOption<?>, Object> options = options0(); // 将得到到 options 配置到 ChannelConfig 中去 synchronized (options) { setChannelOptions(channel, options, logger); } // 获取 ServerBootstrap 启动时配置的 attr 参数 final Map<AttributeKey<?>, Object> attrs = attrs0(); // 配置 Channel attr,主要是设置用户自定义的一些参数 synchronized (attrs) { for (Entry<AttributeKey<?>, Object> e: attrs.entrySet()) { @SuppressWarnings("unchecked") AttributeKey<Object> key = (AttributeKey<Object>) e.getKey(); channel.attr(key).set(e.getValue()); } } // 获取channel中的 pipeline,这个pipeline使咱们前面在channel建立过程当中设置的 pipeline ChannelPipeline p = channel.pipeline(); // 将启动器中配置的 childGroup 保存到局部变量 currentChildGroup final EventLoopGroup currentChildGroup = childGroup; // 将启动器中配置的 childHandler 保存到局部变量 currentChildHandler final ChannelHandler currentChildHandler = childHandler; final Entry<ChannelOption<?>, Object>[] currentChildOptions; final Entry<AttributeKey<?>, Object>[] currentChildAttrs; // 保存用户设置的 childOptions 到局部变量 currentChildOptions synchronized (childOptions) { currentChildOptions = childOptions.entrySet().toArray(newOptionArray(childOptions.size())); } // 保存用户设置的 childAttrs 到局部变量 currentChildAttrs synchronized (childAttrs) { currentChildAttrs = childAttrs.entrySet().toArray(newAttrArray(childAttrs.size())); } p.addLast(new ChannelInitializer<Channel>() { @Override public void initChannel(final Channel ch) throws Exception { final ChannelPipeline pipeline = ch.pipeline(); // 获取启动器上配置的handler ChannelHandler handler = config.handler(); if (handler != null) { // 添加 handler 到 pipeline 中 pipeline.addLast(handler); } ch.eventLoop().execute(new Runnable() { @Override public void run() { // 用child相关的参数建立出一个新链接接入器ServerBootstrapAcceptor // 经过 ServerBootstrapAcceptor 能够将一个新链接绑定到一个线程上去 // 每次有新的链接进来 ServerBootstrapAcceptor 都会用child相关的属性对它们进行配置,并注册到ChaildGroup上去 pipeline.addLast(new ServerBootstrapAcceptor( ch, currentChildGroup, currentChildHandler, currentChildOptions, currentChildAttrs)); } }); } }); }
对于新链接接入器 ServerBootstrapAcceptor 的分析 ,请查看 后文
在channel完成建立和初始化以后,接下来就须要将其注册到事件轮循器Selector上去。咱们回到 initAndRegister 接口上去:
final ChannelFuture initAndRegister() { ... // 获取 EventLoopGroup ,并调用它的 register 方法来注册 channel ChannelFuture regFuture = config().group().register(channel); if (regFuture.cause() != null) { if (channel.isRegistered()) { channel.close(); } else { channel.unsafe().closeForcibly(); } } return regFuture; }
最终会向下调用到 SingleThreadEventLoop 中的 register 接口:
如何调用到这里,里面的细节须要等到后面文章讲到 MultithreadEventExecutorGroup 再详细说明
@Override public ChannelFuture register(final ChannelPromise promise) { ObjectUtil.checkNotNull(promise, "promise"); // 调用unsafe的register接口 promise.channel().unsafe().register(this, promise); return promise; }
代码跟踪下去,直到 AbstractChannel 中的 AbstractUnsafe 这个类中的 register 接口。
@Override public final void register(EventLoop eventLoop, final ChannelPromise promise) { if (eventLoop == null) { throw new NullPointerException("eventLoop"); } if (isRegistered()) { promise.setFailure(new IllegalStateException("registered to an event loop already")); return; } if (!isCompatible(eventLoop)) { promise.setFailure( new IllegalStateException("incompatible event loop type: " + eventLoop.getClass().getName())); return; } // 将该Channel与eventLoop 进行绑定,后续与该channel相关的IO操做都由eventLoop来处理 AbstractChannel.this.eventLoop = eventLoop; // 初次注册时 eventLoop.inEventLoop() 返回false if (eventLoop.inEventLoop()) { // 调用实际的注册接口register0 register0(promise); } else { try { eventLoop.execute(new Runnable() { @Override public void run() { // 调用实际的注册接口register0 register0(promise); } }); } catch (Throwable t) { logger.warn( "Force-closing a channel whose registration task was not accepted by an event loop: {}", AbstractChannel.this, t); closeForcibly(); closeFuture.setClosed(); safeSetFailure(promise, t); } } }
register0接口主要分为如下三段逻辑:
private void register0(ChannelPromise promise) { try { if (!promise.setUncancellable() || !ensureOpen(promise)) { return; } boolean firstRegistration = neverRegistered; // 调用 doRegister() 接口 doRegister(); neverRegistered = false; registered = true; // 经过pipeline的传播机制,触发handlerAdded事件 pipeline.invokeHandlerAddedIfNeeded(); safeSetSuccess(promise); // 经过pipeline的传播机制,触发channelRegistered事件 pipeline.fireChannelRegistered(); // 尚未绑定,因此这里的 isActive() 返回false. if (isActive()) { if (firstRegistration) { pipeline.fireChannelActive(); } else if (config().isAutoRead()) { beginRead(); } } } catch (Throwable t) { closeForcibly(); closeFuture.setClosed(); safeSetFailure(promise, t); } }
咱们来看 AbstractNioChannel 中的 doRegister()接口,最终调用的就是Java JDK底层的NIO API来注册。
@Override protected void doRegister() throws Exception { boolean selected = false; for (;;) { try { // eventLoop().unwrappedSelector():获取selector,将在后面介绍 EventLoop 建立时会讲到 // 将selector注册到Java NIO Channel上 // ops 设置为 0,表示不关心任何事件 // att 设置为 channel自身,表示后面还会将channel取出来用做它用(后面文章会讲到) selectionKey = javaChannel().register(eventLoop().unwrappedSelector(), 0, this); return; } catch (CancelledKeyException e) { if (!selected) { eventLoop().selectNow(); selected = true; } else { throw e; } } } }
在完成建立、初始化以及注册以后,接下来就是Channel绑定操做。
本小节涉及到的pipeline事件传播机制,咱们放到后面的文章中去讲解。
从启动器的bind()接口开始,往下调用 doBind() 方法:
private ChannelFuture doBind(final SocketAddress localAddress) { // 初始化及注册 final ChannelFuture regFuture = initAndRegister(); final Channel channel = regFuture.channel(); if (regFuture.cause() != null) { return regFuture; } if (regFuture.isDone()) { // At this point we know that the registration was complete and successful. ChannelPromise promise = channel.newPromise(); // 调用 doBind0 doBind0(regFuture, channel, localAddress, promise); return promise; } else { .... } }
doBind 方法又会调用 doBind0() 方法,在doBind0()方法中会经过EventLoop去执行channel的bind()任务,关于EventLoop的execute接口的分析,请看后面的 文章 。
private static void doBind0( final ChannelFuture regFuture, final Channel channel, final SocketAddress localAddress, final ChannelPromise promise) { channel.eventLoop().execute(new Runnable() { @Override public void run() { if (regFuture.isSuccess()) { // 调用channel.bind接口 channel.bind(localAddress, promise).addListener(ChannelFutureListener.CLOSE_ON_FAILURE); } else { promise.setFailure(regFuture.cause()); } } }); }
doBind0() 方法往下会条用到 pipeline.bind(localAddress, promise);
方法,经过pipeline的传播机制,最终会调用到 AbstractChannel.AbstractUnsafe.bind() 方法,这个方法主要作两件事情:
关于Pipeline的传播机制,请看 后文
@Override public final void bind(final SocketAddress localAddress, final ChannelPromise promise) { .... // wasActive 在绑定成功前为 false boolean wasActive = isActive(); try { // 调用doBind()调用JDK底层API进行端口绑定 doBind(localAddress); } catch (Throwable t) { safeSetFailure(promise, t); closeIfClosed(); return; } // 完成绑定以后,isActive() 返回true if (!wasActive && isActive()) { invokeLater(new Runnable() { @Override public void run() { // 触发channelActive事件 pipeline.fireChannelActive(); } }); } safeSetSuccess(promise); }
咱们这里看服务端 NioServerSocketChannel 实现的 doBind方法,最终会调用JDK 底层 NIO Channel的bind方法:
@Override protected void doBind(SocketAddress localAddress) throws Exception { if (PlatformDependent.javaVersion() >= 7) { javaChannel().bind(localAddress, config.getBacklog()); } else { javaChannel().socket().bind(localAddress, config.getBacklog()); } }
调用 pipeline.fireChannelActive(),开始传播active事件,pipeline首先就会调用HeadContext节点进行事件传播,会调用到 DefaultChannelPipeline.HeadContext.channelActive() 方法:
@Override public void channelActive(ChannelHandlerContext ctx) throws Exception { // 触发heanlder 的 ChannelActive 方法 ctx.fireChannelActive(); // 调用接口readIfIsAutoRead readIfIsAutoRead(); } private void readIfIsAutoRead() { if (channel.config().isAutoRead()) { // 调用channel.read() channel.read(); } }
channel.read() 方法往下会调用到 AbstractChannelHandlerContext.read() 方法:
@Override public ChannelHandlerContext read() { // 获取下一个ChannelHandlerContext节点 final AbstractChannelHandlerContext next = findContextOutbound(); // 获取EventExecutor EventExecutor executor = next.executor(); if (executor.inEventLoop()) { // 调用下一个节点的invokeRead接口 next.invokeRead(); } else { Runnable task = next.invokeReadTask; if (task == null) { next.invokeReadTask = task = new Runnable() { @Override public void run() { next.invokeRead(); } }; } executor.execute(task); } return this; }
经过pipeline的事件传播机制,最终会调用到 AbstractChannel.AbstractUnsafe.beginRead() 方法:
@Override public final void beginRead() { assertEventLoop(); if (!isActive()) { return; } try { // 调用 doBeginRead(); doBeginRead(); } catch (final Exception e) { invokeLater(new Runnable() { @Override public void run() { pipeline.fireExceptionCaught(e); } }); close(voidPromise()); } }
咱们看下 AbstractNioChannel 对doBeginRead接口的实现逻辑:
// 注册一个OP_ACCEPT @Override protected void doBeginRead() throws Exception { // Channel.read() or ChannelHandlerContext.read() was called // 获取channel注册是的设置的 selectionKey final SelectionKey selectionKey = this.selectionKey; // selectionKey无效则返回 if (!selectionKey.isValid()) { return; } readPending = true; // 前面讲到channel在注册的时候,这是 interestOps 设置的是 0 final int interestOps = selectionKey.interestOps(); // readInterestOp 在前面讲到channel建立的时候,设置值为 SelectionKey.OP_ACCEPT if ((interestOps & readInterestOp) == 0) { // 最终 selectionKey 的兴趣集就会设置为 SelectionKey.OP_ACCEPT // 表示随时能够接收新链接的接入 selectionKey.interestOps(interestOps | readInterestOp); } }
至此,咱们就分析完了Channel的建立、初始化、注册、绑定的流程。其中涉及到的EventLoopGroup和Pipeline事件传播机制的知识点,咱们放到后面的文章中去讲解。