详解网络流量监控

详解网络流量监控

       网络的行为特征能够经过其承载的流量的动态特性来反映，因此有针对性地监测网络中流量的各类参数(如接收和发送数据报大小、丢包率、数据报延迟等信息)，能从这些参数中分析网络的运行状态。经过分析和研究网络上所运载的流量特性，有可能提供一条有效的探索网络内部运行机制的途径。

      另外，网络流量反映了网络的运行状态，是判别网络运行是否正常的关键。若是网络所接收的流量超过其实际运载能力，就会引发网络性能降低。经过流量测量不只能反映网络设备(如路由器、交换机等)工做是否正常，并且能反映出整个网络运行的资源瓶颈。因此，企业网中网络流量的健康程度，就如同人体中的血液同样重要。

1、网络监听关键技术

1.网络监听

       网络监听是一种监视网络状态、数据流程，以及网络上信息传输的管理工具，其监听的工做流程是：监听者经过单一探针或分布式的探针，收集目标网络段数据流，经过预约的隧道汇总到远程/本地数据中心，并利用网络流量/协议分析系统完成对海量数据的初步分析和预处理，最后根据任务需求，对其中的关键数据完成识别、地理位置的定位和评估，为进一步的行动提供依据。网络监听包括两种核心技术，即数据流采集技术和网络流量/协议分析技术。数据流采集，指经过在特定位置部署网络监听探针，从监听的对象（包括单机或内网网段）处采集数据流；协议分析，一般指采用计算机人工智能与情报分析专家协同处理的方式，从海量数据中发现任务所需的关键信息，并力图在工做效率和准确性方面取得最佳平衡。

       网络流量/协议分析技术能帮助网络运行维护人员充分了解和掌握网络的流量占用、应用分布、通讯链接、数据包原始内容等全部网络行为，以及整个网络的运行状况，使其能在网络出现问题时，快速准确地分析问题缘由、定位关键点、故障点和威胁点并进行相应处理，确保网络按预期目标运行。它能帮助咱们弄清楚“网络内部的运做细节”

2． SNMP协议的不足

       SNMP是RMON模型的前身。目前，SNMP是基于TCP/IP并在Internet中应用比较普遍的网管协议，网络管理员可使用它来监视和分析网络运行状况，可是SNMP也有一些明显的不足之处。SNMP使用轮询采集数据，而在大型网络中轮询会产生巨大的网络管理报文，从而致使网络拥塞。SNMP仅提供通常的验证，不能提供可靠的安全保证。此外，SNMP也不支持分布式管理，而采用集中式管理。因为只有网管工做站负责采集数据和分析数据，因此网管工做站的处理能力可能成为瓶颈。为了提升传送管理报文的有效性，减小网管工做站的负载，知足网络管理员监控网段性能的需求，IETF开发了RMON用以解决SNMP在日益扩大的分布式互联中所面临的局限性。

3.监听关键技术

       网络监听系统中包括两个方面的核心技术：数据流采集技术和网络流量/协议分析技术。与此同时，业界也存在另外一种划分方法，将网络监听的关键技术归纳为如下三个方面的内容：

       数据流采集技术解决“如何从网络的不一样位置获取咱们所须要的络数据流”这一问题。从数据采集的位置看，能够分为基于网络、基于主机及混合采集三种：

 （1）流量监测技术。

       流量监测技术主要包括基于SNMP的流量监测和基于Netflow的流量监测。基于SNMP的流量信息采集。经过提取网络设备代理提供的MIB收集一些具体设备及与流量信息有关的变量。基于SNMP收集的网络流量信息包括输字节数、广播包数、丢包数和输出队长列长度等。

（2）基于Netflow流量信息采集。

       基于网络设备提供的Netflow机制实现的网络流量采集，在此基础上实现的流量信息采集效率和效果均可以知足网络流量异常监测的需求。基于以上的流量检测技术，目前有不少流量监控管理软件，此类软件是判断异常流量流向的有效工具，经过流量大小变化的监控，能够帮助网管人员发现异常流量，特别是大流量异常流量的流向，从而进一步查找异常流量的源地址和目的地址。

（3）协议分析技术。

        协议分析技术用于解决了解掌握用户具体使用了什么协议和应用，主要包括协议和应用识别、数据包解码分析等。

4 NetFlow与sFlow的区别

         目前基于流量的解决方案主要分为sFlow和NetFlow两种。sFlow是由惠普和Foundry Networks联合开发它采用随机数据流采集技术，能够适应超大网络流量例如在万兆流量的环境中，进行实施分析网络传输，可是支持sFlow的硬件设备并很少，目前有惠普和FoundryNetworks以及Extreme Networks厂家的设备支持。NetFlow是思科的技术目前普遍的在各类中高端设备都支持，但目前对万兆流量支持的并不理想，它采用了定时抽样采集数据。Ntop工具的插件中就提供了sFlow和Netflow流量采集的支持。

5.协议和应用识别

       根据采集的数据报报头的内容，采用基于协议自动机的流量识别技术，综合分析包括IP地址、端口号、关键字、报文格式、传输层协议等在内的多种特征，对流量进行分类并完成对各类应用层协议的准确识别，如数据库协议、使用动态端口分配的P2P、加密型或非加密型即时通讯、虚拟隧道应用等都将无所遁形。

        基于数据包解码的分析。首先将采集到的数据报按照报文格式定义解码为可读的数据段，而后对海量的数据段进行智能化状态模式匹配。这种技术的原理是以与会话中的客户端或者服务器端相同的方式解码，各个协议组件在识别通讯数据的各个部分类型以后根据RFC定义的规则搜寻信息模式，在某些状况下能够经过在某个特定的协议域中进行模式匹配来进行，而有些则须要采用一些更加先进的技术或引入人工干预，如根据一些特定的变量（如某个域的长度或者自变量的数量）进行检测等。

6.网络数据流采集技术

       掌控网络通讯状况的最佳办法是对网络数据流进行全面采集。目前主要有两种类即硬件探针和软件代理。网络探针（Sensor）一般借助Hub/交换机/TAP等设备，如常见的交换机端口分析器(SPAN)功能,本书中涉及的监控部分都是利用此功能；还可采起在网段中串接TAP设备的方式；使用集线器(Hub)做为网络中心交换设备的网络为共享式网络，集线器以共享带宽的方式工做，全部接在集线器上的设备均处在一个冲突域中，所以，若是用户网络的中心交换设备是集线器，只需将监听设备与集线器相连，便可捕获整个子网中全部的数据通讯。

         交换机端口分析器（俗称SPAN）是平时比较常见的，且做用在交换机上的网络数据流采集端口。网络管理员配置交换机上的一个端口做为SPAN端口，而后交换机就将其指定端口/VLAN的流量复制并发送到SPAN端口，用于监听网络流量。固然是用SPAN方式也有它的不足，它工做时逼近要以牺牲交换机性能为代价（正常状况下启用SPAN后交换机CPU的使用率在10%如下，若是过半那么就不能使用SPAN方案），为了解决这个问题，在千兆速率以上的网络中要试试流量收集分析，就要用到硬件加速技术，目前比较好的是Endace公司开发的GAG系列检测卡，有兴趣的读者能够在网上深刻查询。

7 .SPAN的局限性

         在《开源安全运维平台-OSSIM最佳实践》一书中所有案例都用到了SPAN技术，但应该指出的是思科、华为等厂商在SPAN方面有着一些限制：

• SPAN会话中目的端口只能有一个；

• 不一样的SPAN会话目的端口只能有一个；

• 通常中档的思科设备一般只支持一个会话；

        在安全级别和要求比较高的场合（例如多个IDS系统+多个流量分析系统并行使用的状况），会要求使用它2个以上的安全设备或者流量分析设备，这时因为交换机SPAN端口数量上的限制，没法知足要求，因此用户一般会考虑采用专用流量分析接入设备—TAP（Test Access Point）方式，而传统的SPAN能够做为补充。基于TAP的流量复制/汇聚器，它是个硬件设备，做用是支持多端口的流量汇聚，并且能作到真正的全线速，也就是可以完整的复制到多个监听端口上供多套分析系统使用。为何它能这么强悍，由于TAP设备内部采用了硬件ASIC方式复制交换引擎，因此能够保证千兆全线速复制监听。一般部署方式是将TAP设备串联在防火墙和核心交换机之间，而后将IDS/IPS等多套安全设备接到TAP的指定端口就能实现多个安全设备同时工做的目的。下面经过表1，让读者对三者优缺有个清晰的认识

表1 HUB/SPAN/TAP 监听方法比较

         在一些网络应用很是发达的大型企业中，架设用户后台使用IBM WebSphere应用，当出现问题是，运维人员会在多个交换机上建立SPAN端口，咱们知道Cisco6500系列交换机只能设置2个SPAN端口，这时若是有多套监控系统就没法同时使用。并且当负载大时也没法使用SPAN，这时使用矩阵交换机就能够保证监控工具正常运行。而且可以将更多的网络嗅探工具接到上面进行分析。矩阵交换机比起TAP更多的是使用内置的过滤功能，他可让运维人员选择特定的数据流经过指定的工具。试想一下在一个不能过滤的TAP接口中，一会儿会被来自万兆通道的数据冲垮。使用了矩阵交换机的过滤功能就不会使嗅探器工具过载。

2、用Netflow分析网络异常流量

         随着各类网络应用迅速增长，由此带来网络流量的激增。在这些流量中网络用户的上网行为如何？各类类型的流量如何分布？在这种状况下，可使用NetFlow这一有效工具以知足对网络流量管理的需求，这个工具就是NetFlow。最初NetFlow是由Cisco开发，因为使用普遍，目前不少厂家均可以实现相似NetFlow的功能，如：Juniper、Extreme、Foundry、H3C。对于Cisco来讲，NetFlow有多种版本，如：V五、V七、V八、V9。目前NetFlow V5是主流。所以本文主要针对NetFlowV5，这一版本数据包中的基本元素包含哪些内容呢，首先从Flow讲起。详情请参阅《开源安全运维平台-OSSIM最佳实践》。在书中不只介绍如何部署Netflow系统，如何使用它来分析异常流量，还详细利用另外一款开源工具来分析应用层的流量，最后在奉上如何预防嗅探技术的方法，全面知足你的胃口。