东华流量分析系统技术白皮书v3.0

运筹维网智领天下网站：服务热线:400-666-8366-1-东华流量分析系统技术白皮书东华网智运筹维网智领天下网站：服务热线:400-666-8366-2-目录1前言..................................................................................................32流量分析的目的...................................................................................42.1业务分析决策支持52.2网络运维支持53流量分析的原理...................................................................................63.1数据采集的机制63.2流量数据所含的信息73.3流量统计分析的过程83.4异常流量检测的原理84流量分析的技术实现............................................................................95东华流量分析系统.............................................................................115.1系统介绍115.2功能特点125.3流量实时采集监控145.4流量分析155.5流量拓扑视图165.6异常流量告警165.7流量报表展现175.8系统优势175.9系统效益186结论................................................................................................19运筹维网智领天下网站：服务热线:400-666-8366-3-1前言随着信息技术和网络的深入发展，网络已经成为人们日常工作生活中不可或缺的信息承载工具。网络规模的日渐增长，网络中承载的业务也越来越丰富。企业需要及时的了解到网络中承载的业务，及时的掌握网络流量特征，以便使网络带宽配置最优化，及时解决网络性能问题。目前企业在管理网络当中普遍遭遇到了如下的问题：网络的可视性：网络利用率如何？什么样的程序在网络中运行？主要用户有哪些？网络中是否产生异常流量？有没有长期的趋势数据用作网络带宽规划？应用的可视性：当前网内有哪些应用？分别产生了多少流量？网络中应用使用的模式是什么？企业内部重要应用执行状况如何？用户使用网络模式的可视性：哪些用户产生的流量最多？哪些服务器接收的流量最多？哪些会话产生了流量？分别使用了哪些应用？从这些企业管理网络中所经常遇到的问题来看，需要有一种解决方案能让网络管理人员及时了解到详细的网络使用情形，使网络管理人员及时洞察网络运行状况、及时了解网内应用的执行情况。另一方面，伴随着互联网的正常应用流量，网络上形形色色的异常流量也随之而来，网络中经常出现的DOS/DDOS攻击，RedCode、SQLSlammer、冲击波、振荡波等网络蠕虫病毒泛滥对全世界网络造成的影响至今仍记忆犹新。各种网络扫描工具产生的大量异常网络流量大量占用网络设备系统资源（CPU、内存等）和网络带宽资源，使网络产生拥塞，造成网络丢包、时延增大，最终造成整个网络瘫痪。为保障网络系统的正常运行，对于网络流量的统计、网络的安全控制就显得尤为重要。因此我们建议建设一套完整的流量管理平台，实现对流量系统的综合监控管理，并建设一个流量管理平台，规范信息中心的运行维护流程。东华流量分析系统是东华软件股份公司结合网管领域的多年丰富经验推出的一套基于xFlow（包括NetFlow、NetStream、sFlow、cFlow、IPFIX等）数据流的网络数据实时监控与分析产品。系统可以实现对大型网络的实时流量分析、历史流量统计、流量异常告警、流量趋运筹维网智领天下网站：服务热线:400-666-8366-4-势分析等功能，从而更好的发现网络异常流量、有效监控用户上网行为，并为网络扩容投资提供科学的决策数据。东华流量分析系统采集对象通常是网络中的核心路由器和交换机，通过采集、监控网络第二至第四层的数据流量，实现DOS/DDoS攻击源和目标检测、蠕虫病毒监测、垃圾流量检测、异常流量告警、用户流量日志、网络带宽优化等。2流量分析的目的网络流量的复杂性给网络运营维护和业务决策支持带来了巨大挑战。一方面，业务决策人员需要详细了解网络带宽利用率情况和业务系统使用情况，提前为业务系统优化、升级扩容等方面提供解决方案，流量分析系统工具可以提供可靠的决策数据；另一方面，网络运维人员通常关心的问题包括两大类，一类是与网络和业务规划相关的问题，即关于网络流量成分组成以及地域分布的情况。另一类是与网络安全运营相关的问题，即关于异常流量的种类和数量、来源等情况。流量分析的主要目的就是为业务决策人员和网络运维人员提供数据参考依据，为业务系统和网络运维提供全面的技术支持。下面分别详细列举每一类别所涉及的具体问题。运筹维网智领天下网站：服务热线:400-666-8366-5-2.1业务分析决策支持与业务决策相关的问题基本是围绕几个方面的内容：全网掌握网络带宽利用率、业务系统流量的来源与去向、流量的组成成分、流量的变化趋势。例如：从子网A到子网B的业务流量数据是多少？各业务系统流量分布状况如何？各个子网间的流量是否平衡？网络出口业务系统的流入、流出流量是多少？上联链路的负载是否均衡？过去几个月的流量变化趋势如何？网络带宽是否足够？预计什么时候需要扩容？内部网络到外部各个分支的流量的比率?如何提升IT服务质量和能力？2.2网络运维支持对网络的安全运营最大的威胁为异常流量和攻击。因此与安全运营相关的问题大都是围绕故障分析和异常流量展开的。运维人员最关心的问题有：谁在访问我们的网络，是否属于攻击？异常流量有多大？都是什么类型的攻击？攻击流量的来源是哪里？网络内部哪些流量被攻击？网络内部是否有向外的攻击流量？异常流量是由于什么引起的？出具当前网络运行情况报告？运筹维网智领天下网站：服务热线:400-666-8366-6-3流量分析的原理任何IP网络流量分析的过程都可以大概分为三个环节：数据采集、数据分析、结果呈现。下面分别从这三个环节讲述流量分析的原理。3.1数据采集的机制数据采集的大体上可以分为NetFlow/NetStream/sFlow、SPAN(镜像)、SNMP三种方式，这些方式是与设备相关的。即某些设备只能支持某一种或几种采集方式。每种采集方式有其固有的优势和局限。东华流量分析系统采用了NetFlow/NetStream/sFlow和SNMP、SPAN、BGP相结合的流量数据信息采集方式，做到全面准确精细的数据捕获，从而为分析、统计、告警及报表等提供了完备的原始数据。运筹维网智领天下网站：服务热线:400-666-8366-7-NetFlow与SNMP技术的对比3.2流量数据所含的信息无论是那种类型的流量数据，包含的信息都可以分为三类：空间信息、时间信息、技术指标信息。空间信息是流量发生的地点，包括：路由器、物理端口、IP地址（段）、AS号、地域名称等。时间信息是流量发生的时间：用分钟、时间片、小时、日、周、月、年来度量。技术指标提供流量的业务特征的信息：应用类型，TCP-flag,ToS,包大小……这样流量数据实际上就构成了一个多维数据集。采集的原始流量记录包含以下内容：IP、协议+端口号、接口、相邻自治域、原始自治域、TOS值、NextHop、TCP标记等。流出或流入指定设备端口的数据；源或目的IP地址指定的数据；IP包内高层协议指定的数据；指定高层协议端口的数据；指定数据包大小的数据。SNMP轮询NETFLOW采集采集端口流量统计是否采集端到端流量否是采集业务层流量否是采集完整用户业务流量否是消耗网络设备资源较小较多（但对高端设备性能影响不大）适用电路各种速率各种速率适用范围网络各个层次网络汇聚层和核心层采集数据全面程度较少较全面运筹维网智领天下网站：服务热线:400-666-8366-8-3.3流量统计分析的过程所谓流量的统计分析过程，就是在指定的时空范围内，统计流量对不同维度的分布。例如，查看某一天之内，某个路由器上各个端口上的流入、流出的总流量，就是查看指定时间范围内流量对路由器端口这个空间维度的分布。再例如，查看某段时间内某个端口上流量中各种应用所占比例就是查看指定的时间范围、指定地点流量对应用这个技术指标维度的分布。流量分析过程还可以用另一种方式来解释。前一节中，我们把流量数据看作了一个多维数据集，流量分析的过程就是根据实际需要从不同的角度去透视这个多维数据集。3.4异常流量检测的原理异常流量的检测分为三个步骤：检测指标实测值的计算，检测指标基线值的计算，实测值与基线值的比较。每一种检测指标都对应一种或可能的几种攻击。也就是说，有的检测指标是专门检测某一种特定的异常流量的。而有的检测指标出现异常时，则只能判断存在几种可能的异常流量。这种指标就是非特异性指标。每种检测指标都有自己的基线，但基线的算法是类似的。通常基线算法有两种，一种是周期性基线，一种是移动窗口基线。如果检测指标的正常值的变化趋势有明显的周期性，则建议采用周期性基线。如果检测指标的正常值没有明显的周期性变化，而且在一个较小的范围内波动，则使用移动窗口基线效果比较好。系统支持丰富的异常检测方法，包括：DDoS攻击−SYNFlood−UDPFlood−ICMPFlood−ACKFlood−DNSQueryFlood−HttpGetFlood−LANDFlood−IGMPFlood流量超常−bps超常−pps超常−会话数超常蠕虫事件−CodeRed−硬盘杀手−SQLSlammer−冲击波运筹维网智领天下网站：服务热线:400-666-8366-9-−TCPFlagNULL−TCPFlag误用−ProtocolNULL流量分布异常−源地址分散度异常−目的地址分散度异常−端口分散度异常−冲击波杀手−震荡波−邮件蠕虫−WinNuke攻击4流量分析的技术实现目前网络流量分析产品的种类非常多，但是系统架构基本上是一致的。流量分析系统属于网络管理软件，因此在系统架构上仍然遵循网络管理软件系统架构的一般原则。即整个体系分为三层：采集层、分析层、呈现层。采集层——采集层直接从网元设备获取原始流量数据并进行解码，把解码后的数据交给分析层进行分析计算，通常还会保留一份解码后的流量数据记录的硬盘。分析层——分析层从采集层获取解码后的流量数据记录开始进行分析计算。通常在计算前需要进行数据的归一化处理。展现层——展现层通过数据接口获取统计分析的结果并呈现在用户界面上。东华流量分析系统采集对象通常是网络中的核心路由器和交换机，通过采集、监控网络第二至第四层的数据流量，实现DOS/DDoS攻击源和目标检测、蠕虫病毒监测、垃圾邮件检测、分析层展现层采集层运筹维网智领天下网站：服务热线:400-666-8366-10-带宽成本分析、流量计费、用户流量日志、网络带宽优化等。东华流量分析系统实时收集来自多个网络设备的符合NetFlowV1/5/7/9、NetStreamV5/9、sFlowV2/4/5、cFlow、IPFIX等标准的详细流量记录，并对采