NetStream技术白皮书

NetStream技术白皮书目录1前言....................................................................................................................................22技术简介.............................................................................................................................33关键技术.............................................................................................................................43.1NetStream的报文格式....................................................................................................43.2NetStream流输出的三种方法..........................................................................................63.3NetStream统计信息的提取与输出处理...........................................................................93.4NetStream的能力..........................................................................................................104典型应用...........................................................................................................................124.1NDE的部署...................................................................................................................124.2安全监控........................................................................................................................134.3AS域规划......................................................................................................................144.4组播流量统计与规划......................................................................................................144.5ISP间的流量分帐..........................................................................................................155结束语...............................................................................................................................15附录A缩略语..........................................................................................................................16Netstream技术白皮书Copyright©2005华为技术有限公司版权所有，侵权必究2NetStream技术白皮书摘要：NetStream是一种基于网络流信息的统计与发布技术，可以对网络中的通信量和资源使用情况进行分类和统计，基于各种业务和不同的QoS进行管理和计费。NetStream主要包括三个设备NDE、NSC、NDA。NDE负责流量采集和发送；NSC设备负责收集和存储NDE发来的流量统计数据信息；NDA复制对统计信息分析，分析的结果为网络计费、网络规划、网络监控、应用监控和分析等提供依据。本文档重点介绍NDE，NSC/NDA在其他文档中进行详细介绍。关键词：流、采样、聚合、流量采集、流量发送1前言Internet的高速发展，为用户提供了更高的带宽和可预测的QoS，同时用户也需要对网络进行更细致的管理和计费，为此就需要支持这种需求的相应技术。NetStream技术就是这样一种基于网络流信息的统计与发布技术，它可以对网络中的通信量和资源使用情况进行分类和统计，基于各种业务和不同的QoS进行管理和计费。从而提供如下应用：计费——NetStream为基于资源（如线路、带宽、时段等）占用情况的计费提供了精细的数据，这些数据包括IP地址、包数、字节数、时间、TOS和应用类型等。Internet服务提供商可以利用这些信息来实行灵活的计费策略，如基于时间、带宽、应用、服务质量等。企业客户可以使用这些信息计算部门费用或分配成本，以便有效利用资源。网络规划和分析——NetStream可以为先进的网络管理工具提供关键信息，以便优化网络设计和规划，实现以最小的网络运营成本达到最佳的网络性能和可靠性。网络监控——NetStream技术能够实现近于实时的网络监控功能。RMON、RMON-2和基于信息流的分析技术可以用来形象化地表示单个路由器和全网范围内的流量模式，并提供预先故障检测、高效故障排除和快速问题解决功能。应用监控和分析——通过NetStream技术，可以获得详细的网络应用信息。例如，网络管理员可以查看Web、文件传输协议(FTP)、Telnet和其它著名的TCP/IP应用所占通信量的百分比。Internet内容和服务提供商可以根据这些信息来规划和分配网络和应用资源以满足用户需求。Netstream技术白皮书Copyright©2005华为技术有限公司版权所有，侵权必究3用户监控和分析——NetStream技术使得网络管理者可以获得用户利用网络和应用资源的详细情况，进而用于高效地规划和分配资源，并保障网络的安全运营。2技术简介NetStream是基于“流”的概念，一个流是指，来自相同的子接口，有相同的源和目的IP地址，协议类型，相同的源和目的协议端口号，以及相同的ToS的报文，通常为5元组。NetStream会记录这个流的统计信息，包括：时间戳，报文数，总的字节数。NetStream主要包括三个设备NDE（NetStreamDataExporter），NSC（NetStreamCollector），NDA（NetStreamDataAnalyzer），三个设备之间的关系如下图所示。图1NetStream的设备角色NDE负责流量的采集和发送；NSC设备负责收集和存储NDE发来的流量统计数据信息；NDA复制对统计信息分析，分析的结果为网络计费，网络规划，网络监控，应用监控和分析等提供依据。（1）NetStreamExporter对网络流进行分析处理，提取符合条件的流统计信息，并将统计信息输出给NDC设备，输出前也可对数据进行一些处理，比如聚合。（2）NetStreamCollectorNetstream技术白皮书Copyright©2005华为技术有限公司版权所有，侵权必究4NetFlowCollector是运行于Solaris平台上的UNIX应用程序。负责解析NDE的报文，把统计数据收集到数据库中，可供NDA进行解析。NSC可以采集多个NetFlow设备输出的数据，对数据进行过滤和聚合。（3）NetStreamDataAnalyzerNetStreamDataAnalyzer是一个网络流量分析工具，从NDC中提取统计数据，进行后续处理，为各种业务提供依据（比如网络规划，攻击监测），具有图形化用户界面，使用户可以获取、显示和分析从NetStreamCollector收集的数据。3关键技术3.1NetStream的报文格式NDE收集的网络流的统计信息是封装在UDP报文中输出给NSC/NDA的，一个UDP报文中可以携带多条统计信息记录。这些统计信息记录的格式是由NDE设备决定，NSC/NDA收到NDE发来的统计报文后，先判断记录的版本，不同版本的记录有不同的记录格式。目前支持三种版本格式的记录：V5、V8、V9。报文格式如下图所示：图2NetStream的报文格式Netstream技术白皮书Copyright©2005华为技术有限公司版权所有，侵权必究5表1三种报文格式的比较Version格式说明优点比较缺点比较V5报文格式固定，不易扩展；根据七元组产生的原始数据流输出的字段比较丰富，可以把聚合前的流记录的所有字段都输出给NSC；内容丰富；设备负荷较小。格式固定且不可扩展；数据量大，NSC无法长期保存；收集器(NSC)和分析器(NDA)压力大。V8报文格式固定，不易扩展。数据量相对较小；承载内容略为简单，适合特定分析；可以增加新的聚合方式。格式固定且不可扩展。设备完成聚合工作，负荷较重,只用于将聚合后的流信息输出给NSC。增加新的聚合方式，需要主机和网流收集器升级版本。V9报文格式基于模板，易扩展；可输出两种数据类型，一种是统计数据，第二种是选项数据。最灵活的输出格式，格式可以变化；可以用来输出聚合前的流记录，也可以输出聚合后的流记录。V5用于把流的详细信息输出给NSC/NDA。V8用于将聚合后的流信息输出给NSC/NDA。V5和V8共同的缺点是。随着用户新需求的提出，NDE需要扩展输出信息，这时，还需要修改NSC/NDA的软件来适应NDE的变化，这样会造成不同厂家甚至是同一个厂家的不同版本的NSC/NDA软件无法解析NDE的统计报文。V9和之前版本的最明显区别是，它是基于模板（template）的。模板提供了灵活可扩展的报文输出格式，这使得在不改变基本记录格式的情况下，容易的增加的新的流统计服务。V9模板的优势：1）灵活性，允许单独输出需要的域统计信息，而不需要把所有的IP流信息都输出给NSC，减少了输出流的数据量和NDE和NSC的可能的内存需求以及带宽需求。Netstream技术白皮书Copyright©2005华为技术有限公司版权所有，侵权必究62）在不需要改变输出报文格式的情况下，在输出记录中可以增加新的域。与之相反，之前版本，增加新的域意味着出现新版本的输出协议格式，为解析这种新的格式，NSC需要提供新的支持。3）因为是以模板的形式输出信息，所以，即使NSC无法理解新增的域的真正语意，它仍然可以解释流记录。V9流数据模板与流数据如下图所示：图3V9流数据模板与流数据3.2NetStream流输出的三种方法NDE对流的输出可以采用三种方法：逐流、采样和聚合。逐流就是将每条流的统计信息输出给NSC设备，采样就是按比例的统计流信息输出给NSC，NSC按照采样率恢复成原始的统计。逐流的优点是：NSC可以得到流的详细信息，可以对这些流记录进行更为灵活的后续处理，缺点也是很明显的，增加了网络带宽和设备的CPU占有率，而且为了存储这些信息，需要大