《精通并发与Netty》学习笔记（11 - 详解NIO (二) 分散/汇集 Scatter/Gather、Selector）

1、分散/汇集 Scatter/Gather

scatter/gather指的在多个缓冲区上实现一个简单的I/O操做，好比从通道中读取数据到多个缓冲区，或从多个缓冲区中写入数据到通道；
scatter（分散）：指的是从通道中读取数据分散到多个缓冲区Buffer的过程，该过程会将每一个缓存区填满，直至通道中无数据或缓冲区没有空间；
gather（汇集）：指的是将多个缓冲区Buffer汇集起来写入到通道的过程，该过程相似于将多个缓冲区的内容链接起来写入通道；

scatter/gather接口
以下是ScatteringByteChannel接口和GatheringByteChannel接口的定义，咱们能够发现，接口中定义的方法都传入了一个Buffer数组；
所谓的scatter/gather操做就是汇集（gather）这个Buffer数组并写入到一个通道，或读取通道数据并分散（scatter）到这个Buffer数组中；

public interface ScatteringByteChannel extends ReadableByteChannel
{
public long read(ByteBuffer[] dsts) throws IOException;

public long read(ByteBuffer[] dsts, int offset, int length) throws IOException;
}

public interface GatheringByteChannel extends WritableByteChannel
{
public long write(ByteBuffer[] srcs) throws IOException;

public long write(ByteBuffer[] srcs, int offset, int length) throws IOException;
}

提醒下，带offset和length参数的read( ) 和write( )方法可让咱们只使用缓冲区数组的子集，注意这里的offset指的是缓冲区数组索引，而不是Buffer数据的索引，length指的是要使用的缓冲区数量；

以下代码，将会往通道写入第二个、第三个、第四个缓冲区内容；

int bytesRead = channel.write (fiveBuffers, 1, 3);

注意，不管是scatter仍是gather操做，都是按照buffer在数组中的顺序来依次读取或写入的；

gather写入
scatter / gather常常用于须要将传输的数据分开处理的场合，下面咱们看一下一个汇集写入的示例：

ByteBuffer header = ByteBuffer.allocate(128);
ByteBuffer body = ByteBuffer.allocate(1024);
//write data into buffers
ByteBuffer[] bufferArray = { header, body };
channel.write(bufferArray);

以上代码会将header和body这两个缓冲区的数据写入到通道；

这里要特别注意的并非全部数据都写入到通道，写入的数据要根据position和limit的值来判断，只有position和limit之间的数据才会被写入；
举个例子，假如以上header缓冲区中有128个字节数据，但此时position=0，limit=58；那么只有下标索引为0-57的数据才会被写入到通道中；
scatter读取
以下是一个分散读取的示例：

ByteBuffer header = ByteBuffer.allocate(128);
ByteBuffer body = ByteBuffer.allocate(1024);
ByteBuffer[] bufferArray = { header, body };
channel.read(bufferArray);

以上代码会将通道中的数据依次写入到Buffer中，当一个buffer被写满后，channel紧接着向另外一个buffer中写；

举个例子，假如通道中有200个字节数据，那么header会被写入128个字节数据，body会被写入72个字节数据；
好处
更加高效（如下内容摘自《JAVA NIO》）；
大多数现代操做系统都支持本地矢量I/O（native vectored I/O）操做。
当您在一个通道上请求一个Scatter/Gather操做时，该请求会被翻译为适当的本地调用来直接填充或抽取缓冲区，减小或避免了缓冲区拷贝和系统调用；
Scatter/Gather应该使用直接的ByteBuffers以从本地I/O获取最大性能优点；

2、Selector

 

Selector（选择器）是Java NIO中可以检测一到多个NIO通道，并可以知晓通道是否为诸如读写事件作好准备的组件。这样，一个单独的线程能够管理多个channel，从而管理多个网络链接。
为何使用Selector?
仅用单个线程来处理多个Channels的好处是，只须要更少的线程来处理通道。事实上，能够只用一个线程处理全部的通道。对于操做系统来讲，线程之间上下文切换的开销很大，并且每一个线程都要占用系统的一些资源（如内存）。所以，使用的线程越少越好。

 

可是，须要记住，现代的操做系统和CPU在多任务方面表现的愈来愈好，因此多线程的开销随着时间的推移，变得愈来愈小了。实际上，若是一个CPU有多个内核，不使用多任务多是在浪费CPU能力。无论怎么说，关于那种设计的讨论应该放在另外一篇不一样的文章中。在这里，只要知道使用Selector可以处理多个通道就足够了。

 

下面是单线程使用一个Selector处理3个channel的示例图：

 

Selector的建立
经过调用Selector.open()方法建立一个Selector，以下：

Selector selector = Selector.open();

向Selector注册通道
为了将Channel和Selector配合使用，必须将channel注册到selector上。经过SelectableChannel.register()方法来实现，以下：

channel.configureBlocking(false);
SelectionKey key = channel.register(selector,
    Selectionkey.OP_READ);

与Selector一块儿使用时，Channel必须处于非阻塞模式下。这意味着不能将FileChannel与Selector一块儿使用，由于FileChannel不能切换到非阻塞模式。而套接字通道均可以。

注意register()方法的第二个参数。这是一个“interest集合”，意思是在经过Selector监听Channel时对什么事件感兴趣。能够监听四种不一样类型的事件：

Connect
Accept
Read
Write
通道触发了一个事件意思是该事件已经就绪。因此，某个channel成功链接到另外一个服务器称为“链接就绪”。一个server socket channel准备好接收新进入的链接称为“接收就绪”。一个有数据可读的通道能够说是“读就绪”。等待写数据的通道能够说是“写就绪”。

这四种事件用SelectionKey的四个常量来表示：

SelectionKey.OP_CONNECT
SelectionKey.OP_ACCEPT
SelectionKey.OP_READ
SelectionKey.OP_WRITE
若是你对不止一种事件感兴趣，那么能够用“位或”操做符将常量链接起来，以下：

int interestSet = SelectionKey.OP_READ | SelectionKey.OP_WRITE;

在下面还会继续提到interest集合。

SelectionKey
在上一小节中，当向Selector注册Channel时，register()方法会返回一个SelectionKey对象。这个对象包含了一些你感兴趣的属性：

interest集合
ready集合
Channel
Selector
附加的对象（可选）
下面我会描述这些属性。

interest集合
就像向Selector注册通道一节中所描述的，interest集合是你所选择的感兴趣的事件集合。能够经过SelectionKey读写interest集合，像这样：

int interestSet = selectionKey.interestOps();
boolean isInterestedInAccept  = (interestSet & SelectionKey.OP_ACCEPT) == SelectionKey.OP_ACCEPT；
boolean isInterestedInConnect = interestSet & SelectionKey.OP_CONNECT;
boolean isInterestedInRead    = interestSet & SelectionKey.OP_READ;
boolean isInterestedInWrite   = interestSet & SelectionKey.OP_WRITE;

能够看到，用“位与”操做interest 集合和给定的SelectionKey常量，能够肯定某个肯定的事件是否在interest 集合中。

ready集合
ready 集合是通道已经准备就绪的操做的集合。在一次选择(Selection)以后，你会首先访问这个ready set。Selection将在下一小节进行解释。能够这样访问ready集合：

int readySet = selectionKey.readyOps();

能够用像检测interest集合那样的方法，来检测channel中什么事件或操做已经就绪。可是，也可使用如下四个方法，它们都会返回一个布尔类型：

selectionKey.isAcceptable();
selectionKey.isConnectable();
selectionKey.isReadable();
selectionKey.isWritable();

Channel + Selector
从SelectionKey访问Channel和Selector很简单。以下：

Channel  channel  = selectionKey.channel();
Selector selector = selectionKey.selector();

附加的对象
能够将一个对象或者更多信息附着到SelectionKey上，这样就能方便的识别某个给定的通道。例如，能够附加 与通道一块儿使用的Buffer，或是包含汇集数据的某个对象。使用方法以下：

selectionKey.attach(theObject);
Object attachedObj = selectionKey.attachment();

还能够在用register()方法向Selector注册Channel的时候附加对象。如：

SelectionKey key = channel.register(selector, SelectionKey.OP_READ, theObject);

经过Selector选择通道
一旦向Selector注册了一或多个通道，就能够调用几个重载的select()方法。这些方法返回你所感兴趣的事件（如链接、接受、读或写）已经准备就绪的那些通道。换句话说，若是你对“读就绪”的通道感兴趣，select()方法会返回读事件已经就绪的那些通道。

下面是select()方法：

• int select()
• int select(long timeout)
• int selectNow()

select()阻塞到至少有一个通道在你注册的事件上就绪了。

select(long timeout)和select()同样，除了最长会阻塞timeout毫秒(参数)。

selectNow()不会阻塞，无论什么通道就绪都马上返回（译者注：此方法执行非阻塞的选择操做。若是自从前一次选择操做后，没有通道变成可选择的，则此方法直接返回零。）。

select()方法返回的int值表示有多少通道已经就绪。亦即，自上次调用select()方法后有多少通道变成就绪状态。若是调用select()方法，由于有一个通道变成就绪状态，返回了1，若再次调用select()方法，若是另外一个通道就绪了，它会再次返回1。若是对第一个就绪的channel没有作任何操做，如今就有两个就绪的通道，但在每次select()方法调用之间，只有一个通道就绪了。

selectedKeys()
一旦调用了select()方法，而且返回值代表有一个或更多个通道就绪了，而后能够经过调用selector的selectedKeys()方法，访问“已选择键集（selected key set）”中的就绪通道。以下所示：

Set selectedKeys = selector.selectedKeys();

当像Selector注册Channel时，Channel.register()方法会返回一个SelectionKey 对象。这个对象表明了注册到该Selector的通道。能够经过SelectionKey的selectedKeySet()方法访问这些对象。
能够遍历这个已选择的键集合来访问就绪的通道。以下：

Set selectedKeys = selector.selectedKeys();
Iterator keyIterator = selectedKeys.iterator();
while(keyIterator.hasNext()) {
    SelectionKey key = keyIterator.next();
    if(key.isAcceptable()) {
        // a connection was accepted by a ServerSocketChannel.
    } else if (key.isConnectable()) {
        // a connection was established with a remote server.
    } else if (key.isReadable()) {
        // a channel is ready for reading
    } else if (key.isWritable()) {
        // a channel is ready for writing
    }
    keyIterator.remove();
}

这个循环遍历已选择键集中的每一个键，并检测各个键所对应的通道的就绪事件。

注意每次迭代末尾的keyIterator.remove()调用。Selector不会本身从已选择键集中移除SelectionKey实例。必须在处理完通道时本身移除。下次该通道变成就绪时，Selector会再次将其放入已选择键集中。

SelectionKey.channel()方法返回的通道须要转型成你要处理的类型，如ServerSocketChannel或SocketChannel等。

wakeUp()
某个线程调用select()方法后阻塞了，即便没有通道已经就绪，也有办法让其从select()方法返回。只要让其它线程在第一个线程调用select()方法的那个对象上调用Selector.wakeup()方法便可。阻塞在select()方法上的线程会立马返回。

若是有其它线程调用了wakeup()方法，但当前没有线程阻塞在select()方法上，下个调用select()方法的线程会当即“醒来（wake up）”。

close()
用完Selector后调用其close()方法会关闭该Selector，且使注册到该Selector上的全部SelectionKey实例无效。通道自己并不会关闭。

完整的示例
这里有一个完整的示例，打开一个Selector，注册一个通道注册到这个Selector上(通道的初始化过程略去),而后持续监控这个Selector的四种事件（接受，链接，读，写）是否就绪。

Selector selector = Selector.open();
channel.configureBlocking(false);
SelectionKey key = channel.register(selector, SelectionKey.OP_READ);
while(true) {
  int readyChannels = selector.select();
  if(readyChannels == 0) continue;
  Set selectedKeys = selector.selectedKeys();
  Iterator keyIterator = selectedKeys.iterator();
  while(keyIterator.hasNext()) {
    SelectionKey key = keyIterator.next();
    if(key.isAcceptable()) {

        // a connection was accepted by a ServerSocketChannel.
    } else if (key.isConnectable()) {
        // a connection was established with a remote server.
    } else if (key.isReadable()) {
        // a channel is ready for reading
    } else if (key.isWritable()) {
        // a channel is ready for writing
    }
    keyIterator.remove();

  }
}