Linux下Netty实现高性能UDP服务(SO_REUSEPORT)

参考：

https://www.jianshu.com/p/61df929aa98b

SO_REUSEPORT学习笔记：http://www.blogjava.net/yongboy/archive/2015/02/12/422893.html

代码示例：https://www.programcreek.com/java-api-examples/index.php?api=io.netty.channel.epoll.EpollDatagramChannel

Linux下UDP丢包问题分析思路：https://www.jianshu.com/p/22b0f89937ef

美团的一篇文章:Redis 高负载下的中断优化

 

当前Linux网络应用程序问题

运行在Linux系统上网络应用程序，为了利用多核的优点，通常使用如下比较典型的多进程/多线程服务器模型：

1. 单线程listen/accept，多个工做线程接收任务分发，虽CPU的工做负载再也不是问题，但会存在：
   • 单线程listener，在处理高速率海量链接时，同样会成为瓶颈
   • CPU缓存行丢失套接字结构(socket structure)现象严重
2. 全部工做线程都accept()在同一个服务器套接字上呢，同样存在问题：
   • 多线程访问server socket锁竞争严重
   • 高负载下，线程之间处理不均衡，有时高达3:1不均衡比例
   • 致使CPU缓存行跳跃(cache line bouncing)
   • 在繁忙CPU上存在较大延迟

上面模型虽然能够作到线程和CPU核绑定，但都会存在：

• 单一listener工做线程在高速的链接接入处理时会成为瓶颈
• 缓存行跳跃
• 很难作到CPU之间的负载均衡
• 随着核数的扩展，性能并无随着提高

SO_REUSEPORT解决了什么问题

linux man文档中一段文字描述其做用：

The new socket option allows multiple sockets on the same host to bind to the same port, and is intended to improve the performance of multithreaded network server applications running on top of multicore systems.

SO_REUSEPORT支持多个进程或者线程绑定到同一端口，提升服务器程序的性能，解决的问题：

• 容许多个套接字 bind()/listen() 同一个TCP/UDP端口
  • 每个线程拥有本身的服务器套接字
  • 在服务器套接字上没有了锁的竞争
• 内核层面实现负载均衡
• 安全层面，监听同一个端口的套接字只能位于同一个用户下面

其核心的实现主要有三点：

• 扩展 socket option，增长 SO_REUSEPORT 选项，用来设置 reuseport。
• 修改 bind 系统调用实现，以便支持能够绑定到相同的 IP 和端口
• 修改处理新建链接的实现，查找 listener 的时候，可以支持在监听相同 IP 和端口的多个 sock 之间均衡选择。

 

Netty使用SO_REUSEPORT

要想在Netty中使用SO_REUSEPORT特性，须要知足如下两个前提条件

• linux内核版本 >= 3.9
• Netty版本 >= 4.0.16

替换Netty中的Nio组件为原生组件

直接在Netty启动类中替换为在Linux系统下的epoll组件

• NioEventLoopGroup → EpollEventLoopGroup
• NioEventLoop → EpollEventLoop
• NioServerSocketChannel → EpollServerSocketChannel
• NioSocketChannel → EpollSocketChannel
• 以下所示：

        group = new EpollEventLoopGroup();//NioEventLoopGroup ->EpollEventLoopGroup
        bootstrap = new Bootstrap();
        bootstrap.group(group)
                .channel(EpollDatagramChannel.class) // NioServerSocketChannel -> EpollDatagramChannel
                .option(ChannelOption.SO_BROADCAST, true)
                .option(EpollChannelOption.SO_REUSEPORT, true) // 配置EpollChannelOption.SO_REUSEPORT
                .option(ChannelOption.SO_RCVBUF, 1024 * 1024 * bufferSize)
                .handler( new ChannelInitializer<Channel>() {
                    @Override
                    protected void initChannel(Channel channel)
                            throws Exception {
                        ChannelPipeline pipeline = channel.pipeline();
                        // ....
                    }
                });

netty提供了方法Epoll.isAvailable()来判断是否可用epoll

多线程绑定同一个端口

使用原生epoll组件替换nio原来的组件后，须要屡次绑定同一个端口。

        if (Epoll.isAvailable()) {
            // linux系统下使用SO_REUSEPORT特性，使得多个线程绑定同一个端口
            int cpuNum = Runtime.getRuntime().availableProcessors();
            log.info("using epoll reuseport and cpu:" + cpuNum);
            for (int i = 0; i < cpuNum; i++) {
                ChannelFuture future = bootstrap.bind(UDP_PORT).await();
                if (!future.isSuccess()) {
                    throw new Exception("bootstrap bind fail port is " + UDP_PORT);
                }
            }
        }

 

 

更多例子：https://www.programcreek.com/java-api-examples/index.php?api=io.netty.channel.epoll.EpollDatagramChannel

 

也能够参考：https://github.com/netty/netty/issues/1706 

Bootstrap bootstrap = new Bootstrap()
    .group(new EpollEventLoopGroup(5))
    .channel(EpollDatagramChannel.class)
    .option(ChannelOption.ALLOCATOR, PooledByteBufAllocator.DEFAULT)
    .option(EpollChannelOption.SO_REUSEPORT, true)
    .handler(channelInitializer);

ChannelFuture future;
for(int i = 0; i < 5; ++i) {
future = bootstrap.bind(host, port).await();
if(!future.isSuccess())
    throw new Exception(String.format("Fail to bind on [host = %s , port = %d].", host, port), future.cause());
}