Netty入门

一、什么是Netty

      Netty 是一个基于 JAVA NIO 类库的异步通讯框架，它的架构特色是：异步非阻塞、基于事件驱动、高性能、高可靠性和高可定制性。

二、Netty应用场景

     1.分布式开源框架中dubbo、Zookeeper，RocketMQ底层rpc通信使用就是netty。

     2.游戏开发中，底层使用netty通信。

三、为何选择netty

1. NIO的类库和API繁杂，使用麻烦，你须要熟练掌握Selector、ServerSocketChannel、SocketChannel、ByteBuffer等；
2. 须要具有其它的额外技能作铺垫，例如熟悉Java多线程编程，由于NIO编程涉及到Reactor模式，你必须对多线程和网路编程很是熟悉，才能编写出高质量的NIO程序；
3. JDK NIO的BUG，例如臭名昭著的epoll bug，它会致使Selector空轮询，最终致使CPU 100%

四、netty案例

服务端

package com.zhang.netty;

import io.netty.bootstrap.ServerBootstrap;
import io.netty.channel.ChannelFuture;
import io.netty.channel.ChannelInitializer;
import io.netty.channel.ChannelPipeline;
import io.netty.channel.EventLoopGroup;
import io.netty.channel.nio.NioEventLoopGroup;
import io.netty.channel.socket.SocketChannel;
import io.netty.channel.socket.nio.NioServerSocketChannel;
import io.netty.handler.codec.DelimiterBasedFrameDecoder;
import io.netty.handler.codec.Delimiters;
import io.netty.handler.codec.string.StringDecoder;
import io.netty.handler.codec.string.StringEncoder;

public class HelloServer {

    /**
     * 服务端监听的端口地址
     */
    private static final int portNumber = 7878;

    public static void main(String[] args) throws InterruptedException {
        EventLoopGroup bossGroup = new NioEventLoopGroup();
        EventLoopGroup workerGroup = new NioEventLoopGroup();
        try {
            ServerBootstrap b = new ServerBootstrap();
            b.group(bossGroup, workerGroup);
            b.channel(NioServerSocketChannel.class);
            b.childHandler(new ChannelInitializer<SocketChannel>() {
                protected void initChannel(SocketChannel ch) throws Exception {
                    ChannelPipeline pipeline = ch.pipeline();

                    // 以("\n")为结尾分割的 解码器
                    pipeline.addLast("framer", new DelimiterBasedFrameDecoder(8192, Delimiters.lineDelimiter()));

                    // 字符串解码 和 编码
                    pipeline.addLast("decoder", new StringDecoder());
                    pipeline.addLast("encoder", new StringEncoder());

                    // 本身的逻辑Handler
                    pipeline.addLast("handler", new HelloServerHandler());
                }
            });

            // 服务器绑定端口监听
            ChannelFuture f = b.bind(portNumber).sync();
            // 监听服务器关闭监听
            f.channel().closeFuture().sync();

            // 能够简写为
            /* b.bind(portNumber).sync().channel().closeFuture().sync(); */
        } finally {
            bossGroup.shutdownGracefully();
            workerGroup.shutdownGracefully();
        }
    }
}

package com.zhang.netty;

import java.net.InetAddress;

import io.netty.channel.ChannelHandlerContext;
import io.netty.channel.SimpleChannelInboundHandler;

public class HelloServerHandler extends SimpleChannelInboundHandler<String> {
    
    @Override
    protected void channelRead0(ChannelHandlerContext ctx, String msg) throws Exception {
        // 收到消息直接打印输出
        System.out.println(ctx.channel().remoteAddress() + " Say : " + msg);
        
        // 返回客户端消息 - 我已经接收到了你的消息
        ctx.writeAndFlush("Received your message："+msg+"\n");
    }
    
    /*
     * 覆盖 channelActive 方法 在channel被启用的时候触发 (在创建链接的时候)
     * */
    @Override
    public void channelActive(ChannelHandlerContext ctx) throws Exception {
        
        System.out.println("RamoteAddress : " + ctx.channel().remoteAddress() + " active !");
        
        ctx.writeAndFlush( "Welcome to " + InetAddress.getLocalHost().getHostName() + " service!\n");
        
        super.channelActive(ctx);
    }
}

客户端

package com.zhang.netty;

import io.netty.bootstrap.Bootstrap;
import io.netty.channel.Channel;
import io.netty.channel.ChannelInitializer;
import io.netty.channel.ChannelPipeline;
import io.netty.channel.EventLoopGroup;
import io.netty.channel.nio.NioEventLoopGroup;
import io.netty.channel.socket.ServerSocketChannel;
import io.netty.channel.socket.SocketChannel;
import io.netty.channel.socket.nio.NioSocketChannel;
import io.netty.handler.codec.DelimiterBasedFrameDecoder;
import io.netty.handler.codec.Delimiters;
import io.netty.handler.codec.string.StringDecoder;
import io.netty.handler.codec.string.StringEncoder;

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;

public class HelloClient {
    
    public static String host = "127.0.0.1";
    public static int port = 7878;

    /**
     * @param args
     * @throws InterruptedException 
     * @throws IOException 
     */
    public static void main(String[] args) throws InterruptedException, IOException {
        EventLoopGroup group = new NioEventLoopGroup();
        try {
            Bootstrap b = new Bootstrap();
            b.group(group)
            .channel(NioSocketChannel.class)
            .handler(new ChannelInitializer<SocketChannel>() {
                protected void initChannel(SocketChannel ch) throws Exception {
                    ChannelPipeline pipeline = ch.pipeline();

                    //这个地方的 必须和服务端对应上。不然没法正常解码和编码
                    pipeline.addLast("framer", new DelimiterBasedFrameDecoder(8192, Delimiters.lineDelimiter()));
                    pipeline.addLast("decoder", new StringDecoder());
                    pipeline.addLast("encoder", new StringEncoder());

                    // 客户端的逻辑
                    pipeline.addLast("handler", new HelloClientHandler());
                }
            });

            // 链接服务端
            Channel ch = b.connect(host, port).sync().channel();
            
            // 控制台输入
            BufferedReader in = new BufferedReader(new InputStreamReader(System.in));
            for (;;) {
                String line = in.readLine();
                if (line == null) {
                    continue;
                }
                /*
                 * 向服务端发送在控制台输入的文本 并用"\r\n"结尾
                 * 之因此用\r\n结尾 是由于咱们在handler中添加了 DelimiterBasedFrameDecoder 帧解码。
                 * 这个解码器是一个根据\n符号位分隔符的解码器。因此每条消息的最后必须加上\n不然没法识别和解码
                 * */
                ch.writeAndFlush(line + "\r\n");
            }
        } finally {
            group.shutdownGracefully();
        }
    }
}

package com.zhang.netty;

import io.netty.channel.ChannelHandlerContext;
import io.netty.channel.SimpleChannelInboundHandler;

public class HelloClientHandler extends SimpleChannelInboundHandler<String> {

    @Override
    protected void channelRead0(ChannelHandlerContext ctx, String msg) throws Exception {
        
        System.out.println("Server say : " + msg);
    }
    
    @Override
    public void channelActive(ChannelHandlerContext ctx) throws Exception {
        System.out.println("Client active ");
        super.channelActive(ctx);
    }

    @Override
    public void channelInactive(ChannelHandlerContext ctx) throws Exception {
        System.out.println("Client close ");
        super.channelInactive(ctx);
    }
}

五、什么是粘包/拆包

      一个完整的业务可能会被TCP拆分红多个包进行发送，也有可能把多个小的包封装成一个大的数据包发送，这个就是TCP的拆包和封包问题。下面能够看一张图，是客户端向服务端发送包：

第一种状况，Data1和Data2都分开发送到了Server端，没有产生粘包和拆包的状况。

第二种状况，Data1和Data2数据粘在了一块儿，打成了一个大的包发送到Server端，这个状况就是粘包。

第三种状况，Data2被分离成Data2_1和Data2_2，而且Data2_1在Data1以前到达了服务端，这种状况就产生了拆包。

因为网络的复杂性，可能数据会被分离成N多个复杂的拆包/粘包的状况，因此在作TCP服务器的时候就须要首先解决拆包

解决办法：

      消息定长，报文大小固定长度，不够空格补全，发送和接收方遵循相同的约定，这样即便粘包了经过接收方编程实现获取定长报文也能区分。

sc.pipeline().addLast(new FixedLengthFrameDecoder(10));

      包尾添加特殊分隔符，例如每条报文结束都添加回车换行符（例如FTP协议）或者指定特殊字符做为报文分隔符，接收方经过特殊分隔符切分报文区分。

//使用特殊字符
ByteBuf buf = Unpooled.copiedBuffer("ha".getBytes());
sc.pipeline().addLast(new DelimiterBasedFrameDecoder(1024, buf));

//使用\n
pipeline.addLast("framer", new DelimiterBasedFrameDecoder(8192, Delimiters.lineDelimiter()));

六、序列化定义

       序列化（serialization）就是将对象序列化为二进制形式（字节数组），通常也将序列化称为编码（Encode），主要用于网络传输、数据持久化等；

       反序列化（deserialization）则是将从网络、磁盘等读取的字节数组还原成原始对象，以便后续业务的进行，通常也将反序列化称为解码（Decode），主要用于网络传输对象的解码，以便完成远程调用。

七、序列化协议

       Java默认提供的序列化机制，须要序列化的Java对象只须要实现 Serializable / Externalizable 接口并生成序列化ID，这个类就可以经过 ObjectInput 和 ObjectOutput 序列化和反序列化。可是Java默认提供的序列化有不少问题，主要有如下几个缺点：

1. 没法跨语言：由于Java序列化后的字节数组，其它语言没法进行反序列化。；
2. 序列化后的码流太大:：相对于目前主流的序列化协议，Java序列化后的码流太大；
3. 序列化的性能差：因为Java序列化采用同步阻塞IO，相对于目前主流的序列化协议，它的效率很是差。

八、影响序列化性能的关键因素

1. 序列化后的码流大小（网络带宽的占用）；
2. 序列化的性能（CPU资源占用）；
3. 是否支持跨语言（异构系统的对接和开发语言切换）

九、几种流行的序列化协议比较

XML

XML（Extensible Markup Language）是一种经常使用的序列化和反序列化协议， 它历史悠久，从1998年的1.0版本被普遍使用至今。

优势：人机可读性好，可指定元素或特性的名称

缺点：

1. 序列化数据只包含数据自己以及类的结构，不包括类型标识和程序集信息。
2. 类必须有一个将由 XmlSerializer 序列化的默认构造函数。
3. 只能序列化公共属性和字段
4. 不能序列化方法
5. 文件庞大，文件格式复杂，传输占带宽

使用场景：当作配置文件存储数据，实时数据转换

JSON

JSON(JavaScript Object Notation, JS 对象标记) 是一种轻量级的数据交换格式。它基于 ECMAScript (w3c制定的js规范)的一个子集， JSON采用与编程语言无关的文本格式，可是也使用了类C语言（包括C， C++， C#， Java， JavaScript， Perl， Python等）的习惯，简洁和清晰的层次结构使得 JSON 成为理想的数据交换语言。

优势：

1. 先后兼容性高
2. 数据格式比较简单，易于读写
3. 序列化后数据较小，可扩展性好，兼容性好
4. 与XML相比，其协议比较简单，解析速度比较快

缺点：

1. 数据的描述性比XML差
2. 不适合性能要求为ms级别的状况
3. 额外空间开销比较大

适用场景（可替代ＸＭＬ）：

1. 跨防火墙访问
2. 可调式性要求高的状况
3. 基于Web browser的Ajax请求
4. 传输数据量相对小，实时性要求相对低（例如秒级别）的服务

Fastjson

Fastjson是一个Java语言编写的高性能功能完善的JSON库。它采用一种“假定有序快速匹配”的算法，把JSON Parse的性能提高到极致。

优势：

1. 接口简单易用
2. 目前java语言中最快的json库

缺点：

1. 过于注重快，而偏离了“标准”及功能性
2. 代码质量不高，文档不全

适用场景：

1. 协议交互
2. Web输出
3. Android客户端

Thrift

      Thrift并不只仅是序列化协议，而是一个RPC框架。它可让你选择客户端与服务端之间传输通讯协议的类别，即文本(text)和二进制(binary)传输协议, 为节约带宽，提供传输效率，通常状况下使用二进制类型的传输协议。

优势：

1. 序列化后的体积小, 速度快
2. 支持多种语言和丰富的数据类型
3. 对于数据字段的增删具备较强的兼容性
4. 支持二进制压缩编码

缺点：

1. 使用者较少
2. 跨防火墙访问时，不安全
3. 不具备可读性，调试代码时相对困难
4. 不能与其余传输层协议共同使用（例如HTTP）
5. 没法支持向持久层直接读写数据，即不适合作数据持久化序列化协议

适用场景：分布式系统的RPC解决方案