网络分流器｜10Ｇ网络分流器：传统产品与新的挑战

10G网络分流器：传统产品与新的挑战
网络分流器（Network Distributor）是一种网络流量过滤采集设备，工做在第3、四层，专门用于互联网流量分析领域，是一种为下降后端分析而进行流量过滤、衰减、交换和分流的设备。目前已有的戎腾网络分流器包括千兆、10G（POS、WAN、LAN）、40G（POS、LAN）、100G以太网、PON（EPON、GPON）、WIFI、3G和LTE等。

网络分流器有时候又称为流量采集器（Traffic Collector）或者网络探针（Network Probe）。
1．引言｜网络分流器
10G骨干链路从2003年开始在运营商部署应用，到如今已经有十多年了。10G链路又分为10G LAN（以太网）、10G POS和10G WAN。十年之前，在这类链路上执行网络监控、信令分析、大数据分析、IDC防御和内容审计对各个厂商而言都是比较大的挑战，这主要是由于：
（1）当时，10G骨干链路技术只掌握在路由器厂商手中，而路由器厂商相对比较强势。分流器须要大容量规则、分组分流、特征模式、DNS规则、两级表过滤、输出QoS、动态IP监控等特殊功能，要求硬件生产厂家必须深刻创新，开发新的产品。可是路由器厂商认为这是一个小众市场，不肯意投入人员来研发，而是使用路由器（或者是通过局部修改的路由器线卡）充当分流器，而流量分析领域的厂商不具有议价和协商的能力。
（2）分析领域厂商自己对业务和加速能力缺少完整理解，分析领域厂商擅长于从普通以太网网卡捕获报文，而后用软件方式进行流重组和协议分析，其全部的技术沉淀都在X86平台上。这类解决方案须要大量的服务器以集群方式堆积来造成完整的10G链路分析系统，性能一般不会很高。
（3）之前的服务器的处理能力有限，由于核比较少，内存访问的延迟没法隐藏，即便通过反复的优化，也没法达到Gbps以上的处理性能。当前的形势已经彻底不同，分流器领域竞争激烈，造成了戎腾网络且分析领域厂商通过十年的积累已经对业务有了较好的沉淀，勇于提出本身的需求，也深入了解了计算负载如何在硬件和软件之间分配。另外，服务器的流量处理能力也从300-400Mbps提升了2Gbps左右。所以，10G分流器当前面临着要增长新的功能、增长密度并进一步下降成本的问题。
2．挑战｜戎腾网络分流器
估计目前在全国范围三大运营商中，骨干链路和骨干链路边缘的10G光纤（包括10G LAN、10G WAN和10G POS）达到了万条左右的规模。在如此多的链路上部署审计和信令分析系统，面临一些新的挑战：
（1）如何保护用户投资并扩展单机箱对不一样链路的支持能力：运营商的网络是逐步建设起来的，这决定了在一个城市，链路种类比较多，包括2.5G、10G、40G和100G等多种。即便在10G链路上，又分为10G以太网LAN、10G以太网WAN和10G POS等形态。不少时候，分析厂商可能直到上线才知道链路层的协议类型。
（2）如何增长产品的密度：因为链路多、种类复杂，设备的密度最比如较高，体系比较小，功耗比较低。
（3）精细分流能力：可以在流一级基于DPI（深度报文检测）过滤掉绝大部分的流量，这样才能有效下降后端分析服务器的负载。
（4）性价比：十年之前，分流器占到总体解决方案成本的50%，目前虽然降到了20%左右，可是成本仍然是厂家重要的考虑因素。
3．解决方案
传统10G分流器通常只有简单的协议转换、万条级的多元组过滤、分组分流等功能，随着技术的发展，支持串规则、流管理、DNS规则、千万条以上多元组规则等应用需求被挖掘出来，须要硬件厂商具有更强的研发实力和技术沉淀。新型分流设备通常采用图1所示的处理流程。
图1 新型10G分流设备处理流程
在整个处理流程中，数据提取针对不一样的链路执行不一样的功能，如普通以太网采用PHY芯片完成此功能，而POS和WAN则须要Framer。多元组过滤和内容过滤有软件和硬件两种处理方式。其中内容过滤的处理能力十分关键，在2.5G/s POS链路上最大报文吞吐率为6Mpacket/s，每个报文的最短处理时间为167ns。10G/s POS链路的最大报文吞吐率为26Mpacket/s，每个报文的最短处理时间为37ns。当前，在高速关键字匹配方面，有FPGA+SRAM、TCAM以及纯软件几种方式，分别有其相应的优缺点。使用TCAM（Ternary Content Addressable Memory）进行关键字过滤具备速度快、规则动态性好等特色，可是因为TCAM是基于最早匹配的，即只能报告最早匹配的地址。而内容审计和应用行为分析是基于多匹配的，即同一个报文可能匹配多个关键字，且TCAM具备长度受限的特色。TCAM用于解决内容模式多匹配，要解决长规则和规则存储顺序两个问题。连接共享多匹配（Linking Shared Multi-Match，LSMM）是一种较好的解决方案。其基本思想是：TCAM每一个表项由前段号和段内容组成。若TCAM中存储有n个表项，则须要在每一个表项中扩展位用于存储前段规则的地址（前链域）。每次进行匹配前，将要匹配的内容前面加上前链域，送入TCAM器件进行匹配。命中规则的前缀段时，须要将其记录到存储器中，称之为部分命中表，记录命中的报文位置和段索引。经过TCAM良序的规则分配方法，将规则长度任意的规则集分配存储到TCAM中以后，则对任何匹配规则集中多个规则的报文，不会遗漏任何一次匹配。大规模流管理是另外一项关键技术，好的散列方式，并在DDR的多个通道和Bank之间并行访问存储器，能够提升部分性能。另外，能够经过智能流表分配、无锁定超时、多通道虚拟队列等配套技术来提升流管理的性能。综合考虑设备的密度、体积、功耗和成本，戎腾网络的10G分流器（包括PET160A、PET160B、PET320A和PET320B）经过多元组过滤、流管理和DNS规则对报文进行过滤，可以执行更精细的流量分类。PET设备采用模块化结构，能够扩展子卡来增长对接口的支持能力。独有的多链路协议封装（MPE）使得数据提取模块组件化，能够在1U机箱内支持32个网口，每一个网口能够是千兆以太网、2.5G POS、10G LAN、10G POS、10G WAN、40G以太网等不一样类型，且每一个接口的输入和输出能够彻底不一样，用户能够自由配置，除40G以太网须要配置不一样的子卡以外，其余接口均可以采用一种子卡（只须要进行软件配置）。图2 PET160

图3 PET320
这让用户的选择余地更多，若是只有1-2对链路，可使用PET160配置一块子卡。若是链路比较多，能够选择PET320满配。超过PET320链路容量时，可使用PET设备串接。如图4所示，3台PET320B能够实现92个接口流量的输入，最大容量达到920Gbps。若是继续扩展，能够增长更多的输入接口，且其输入链路类型能够各不相同。这显著地增长了系统的可扩展性，保护了用户的投资。
图4 PET320串接部署

4．网络分流器｜结论
在高速网络环境下，随着主干网络带宽和流量的急剧增长，复杂网络应用的层出不穷，传统网络IDS、内容审计系统、信令分析系统在数据捕获和数据处理方面面临很大的挑战。10G分流器是一个复杂的系统，设计和实现这样的系统须要综合考虑成本、体积、功耗、密度，以及所须要的精细分流功能｜戎腾网络分流器