网络流量异常的检测界面的研究与设计

项目编号：2009D2505泰安市大学生科技创新行动计划项目结题材料网络流量异常的检测界面的研究与设计项目负责人：课题组成员：指导教师：所在系院：完成时间：2011年6月14日目录1.工作总结2.技术总结3.部分源代码4.相关光盘一、网络流量异常的检测界面研发工作总结1.项目的基本情况（1）项目来源：泰安市大学生科技创新行动计划项目，项目编号：2009D2050（2）项目研究起止时间：2010年1月——2011年6月（3）项目主要研究内容本项目主要研究如何设计网络异常流量检测系统的界面，其更为直观、准确地提供有关的网络信息，在此基础上开发实现一个小型的入侵检测系统。（4）项目经费支出情况：市拨经费3千元，项目支出经费3千元。2.项目的组织实施情况该项目自获得立项起，项目负责人就在指导教师鞠培军、朱峰的指导下，对本项目的研究思路进行了分析和研究，并在局域网内做了大量的数据采集与分析工作，在此基础上结合所学专业知识，在现有网络异常流量检测系统的基础上设计并开发出一个简洁直观、交互性较好的网络流量监测系统界面，同时又对网络入侵监测技术做了较深入的学习。最终在项目组和指导老师的共同努力下，按时完成了本项目的研究工作。3.项目内容的完成情况本项目设计了一种基于网络流量的异常检测系统。该系统的设计首先基于网络行为学的研究结果。网络行为学认为网络的流量行为具有长期特征和短期特征。网络的长期特征表现在网络行为具有一定的规律性、稳定性；而短期特征表现出一定的偶然性和突发性。在对校园网络流量（包括各种协议成份的流量）进行长期监测的曲线可以看出，网络流量的变化既有周期性又有突发性特征。在一个较长的时间段内，网络流量呈周期性特征（主要受作息时间的影响）；而在某个较短时间段内，网络流量会发生突发性变化（主要是网络用户的偶然行为）。如果除去Dos/DDos，蠕虫等入侵行为所造成的网络流量异常增大的影响，正常网络流量曲线应该是趋于连续变化的。本项目完成了一个小型的基于Windows的网络异常流量检测系统的开发，整个系统主要分为两个部分，即检测模块和响应模块。检测模块主要是通过监听网络，捕获该网段上的数据包并对其进行分析，从而剥离出一些与入侵特征相关的标志。响应模块则负责将检测模块剥离出的标志与现有的入侵特征进行模式匹配，从而侦测出存在于网络中的入侵活动，并且利用一些响应手段向网络管理员发出告警信息并采取相应的行动。本系统将两部分的功能模块集中于中央控制台，给系统的使用者提供方便的操作界面，并显示系统输出的各项数据。检测模块完成了数据采集、数据存储、数据呈现、数据分析四大功能。（1）数据采集模块：软件能够根据管理员的需求自动获取计算机内部的硬件或软件的信息，如网卡的MAC地址、端口等有效信息；（2）数据存储模块：将测试的数据进行保存（包含时间的记录和数据的记录），便于以后的查阅和进行数据的比较；（3）数据呈现模块：显示变化的网络流量的曲线图，能更直接、更方便的将变化的流量展现出来，并且根据曲线的变化判断网络流量的变化趋势及目前网络中可能存在的问题；（4）数据分析模块：在捕获数据包后，完成对数据包的分析过程。该过程从链路层开始分析，然后是网络层、传输层、应用层。响应模块完成了（1）规则库的建立：结合校园局域网的特点，以数据包的报头信息为特征数据建立相应的规则库；（2）匹配算法：TCP规则匹配，UDP规则匹配，ICMP规则匹配，IP规则匹配等方法；（3）响应输出：根据规则动作的内容把入侵的警告信息忽略、警告或警告并存入数据库；（4）日志的保存：日志数据库主要是存储需要记录的重要入侵记录，其作用是为了对入侵事件的分析和取证。通过系统测试，得出的结果表明，本项目完成的网络流量异常检测系统对于网络扫描、Dos/DDos、蠕虫等类型的网络攻击和入侵具有明显的检测效果。但是，相对于纷繁变化的网络攻击手段，限于软硬件环境和统计分析技术的缺陷，系统的异常检测能力还不是很完善，存在着一些不足之处还有待改进。项目组成员将继续深入学习入侵检测技术，争取将更高效的检测方法融合进来，使得该网络流量异常检测系统进一步完善，向着高性能、高可靠性、实时、快速、智能化的方向发展。二.网络流量异常的检测界面研发技术总结1.研究的背景及意义在现代生活中，网络己经成为人们不可或缺的信息基础。随着Internet规模的不断扩大，网络异常事件的发生也越来越频繁，任何差错或阻塞都可能对人们造成不便甚至造成巨大的损失。网络安全作为一个无法回避的问题呈现在人们面，成为人们普遍关注的焦点。为了网络安全，网络管理的核心任务已经从用量管理转向安全管理。网络流量异常检测是网络安全管理领域的重要研究内容。网络异常通常表现为网络流量的异常，网络流量异常是指对网络正常使用造成不良影响的网络流量模式，网络异常检测的关键是通过对网络流量正常行为的描述来分析和发现网络或系统中可能出现的异常行为。对关键参数进行异常监测可以提早发现问题，确定新的网络威胁，并向管理员提出警告，从而使得网管人员有更多的时间分析问题，组织防范或恢复措施，避免严重问题的出现，而且对于发现未知网络入侵及网络故障检测等方面有着不可替代的作用。通过监测网络异常情况的发生可以检测出许多网络故障和性能问题，对提高网络的可用性和可靠性，保证网络的服务质量具有重要意义。综上所述，流量异常检测系统的应用，便于网络及安全管理人员排查网络异常、维护网络正常运转、保证网络安全，研究一种高效、快速、准确率高的异常流量检测系统对于网络故障的预警和网络安全都具有极为重要的意义。但是目前传统检测方法的误报率、漏报率居高不下，以往的攻击侦测手段已经不适应当前网络安全管理中对网络攻击“要及时发现，快速定位，立即防范”的要求，需要我们在异常发现技术的基础上寻找一种通过流量的检测值来进行检测的有效方法。2.国内外研究现状流量的异常检测在实际应用中具有重要的实际意义。在之前的研究中，流量异常检测的方法可以大致分为如下几种：（1）基于阂值检测方法（2）基于统计模型的方法（3）数据挖掘的方法（4）小波分析方法（5）自相似特征方法基于阂值检测方法在网络流量管理中流量异常的一般检测方法是阖值监控，该方法被广泛使用。通常是用预先设定阂值的方法，即根据经验预先确定某个流量的上下限，输入到网络管理工具中，如果在网络监测中，流量的实际观测值超出上限或下限，那么我们认为流量异常基于统计模型的方法基于统计模型的主要优点是它可以“学习”用户的使用习惯，从而具有较高检出率和可用性，缺陷主要是假设统计模型的数据能正确的反映系统的正常数据，但在实际中往往很复杂。从流量轮廓获取的角度又可以把基于统计的异常检测方法进一步分为两类：第一类是分析特定的细节特征，第二类是把网络总体流量作为分析对象。基于第二类统计模型，采用了一种基于统计的流量异常检测方法，首先确定正常的网络流量基线，然后根据此基线利用正态分布假设检验实现对当前流量的异常检测。数据挖掘的方法数据挖掘是从大量的、模糊的、随机的数据中，提取尽可能多的隐含的安全信息、抽象出有利于进行判别和比较的特征模型，这些特征模型可以是基于异常检测的特征向量模型，也可以是基于异常检测的行为描述模型，然后由计算机根据相应算法判断出当前行为的性质。目前应用较多的数据挖掘算法有数据分类、关联规则和序列分析，有的研究在一维流或多维流分布特征的数据挖掘来确定异常。小波分析方法在基于网络流量统计分析的模式分析中，时间序列模型起着相当重要的用。小波分析能将交织在一起的不同频率成分组成的复杂的非线性流量时间列问题分解成多个尺度、多种组成成分的流量子序列。自相似特征方法自相似性是指网络的负载随时间，在各个时间规模上具有相似的统计特。大量研究结果表明真实网络流量存在统计上的自相似性对于网络流量的自相似特征的研究还有很多的工作，流量负载变化会对自相性参数产生影响。3.系统的总体设计本系统是一个小型的基于Windows的网络异常流量检测系统，整个系统主要分为两个部分，即检测模块和响应模块。检测模块主要是通过监听网络，捕获该网段上的数据包并对其进行分析，从而剥离出一些与入侵特征相关的标志。响应模块则负责将检测模块剥离出的标志与现有的入侵特征进行模式匹配，从而侦测出存在于网络中的入侵活动，并且利用一些响应手段向网络管理员发出告警信息并采取相应的行动。本系统将两部分的功能模块集中于中央控制台，给系统的使用者提供方便的操作界面，并显示系统输出的各项数据。虽然本系统只是安装在局域网的某台机器上，但能够对整个网段提供异常流量的检测和入侵保护。系统体系结构如下图所示4.检测模块的设计与实现4.1设计思想检测模块共分为数据采集、数据存储、数据呈现、数据分析四大功能。（1）数据采集：软件能够根据管理员的需求自动获取软、硬件的信息，并捕获数据包；（2）数据存储：将测试的数据进行保存（包含时间的记录和数据的记录），便于以后的查阅和进行数据的比较；（3）数据呈现：显示变化的网络流量的曲线图，能更直接、更方便的将变化的流量展现出来，并且根据曲线的变化判断网络流量的变化趋势及目前网络中可能存在的问题；（4）数据分析：在捕获数据包后，完成对数据包的分析过程。该过程从链路层开始分析，然后是网络层、传输层、应用层。由于本系统是基于Windows操作系统的，所以数据包捕获功能是在Winpcap软件开发包的基础上实现的。4.2网络数据包的捕获（1）捕获机制网络数据包捕获机制是网络异常流量检测系统的基础。通过截获整个网络的所有信息流量，根据信息源主机、目标主机、服务协议端口等信息简单过滤掉不关心的数据，再将用户感兴趣的数据发送给更上层的应用程序进行分析。其工作流程图如图2所示：网络消息数据截获数据过滤应用程序（响应模块）网络数据包捕获可以通过两种机制实现，一种是利用以太网的广播特性，另一种方式是通过设置路由器的监听端口实现。两种方式分别适用于不同的情况。本系统是利用以太网络的广播特性进行捕获数据包的。（2）具体实现网卡有以下几个工作模式；广播模式、多播模式、直接模式和混杂模式。网卡在设置为广播模式时，它将会接受所有目的地址为广播地址的数据包，一般所有的网卡都会设置为这个模式；网卡在设置为多播模式时，当数据包的目的地址为多播地址，而且网卡地址是属于那个多播地址说代表的多播组时，网卡将接收此数据包；网卡在设置为直接模式时，只有当数据包的目的地址为网卡自己的地址时，网卡才接受它；网卡在设置为混杂模式时，它将接受所有经过的数据包。由于网络异常流量的检测系统的数据源是整个网段上的数据包，因此只要将该网段内某一台主机的网卡设置为混杂模式，就可以监听该网段内所有的数据包并进行分析和判断。具体的数据包捕获流程图如下图所示：4.3网络数据的呈现与存储（1）数据的动态呈现动态曲线功能主要是为了方便管理员能够及时的观察出瞬时的网络流量变化情况，再根据数据的变化情况进行网络数据的分析，进行网络问题的分析，并提出有效的处理方案和处理方法，曲线图如图4所示：（详细代码见附录）图4曲线图通过软件的呈现模块来体现变化的网络流量的变化曲线，能更直接、更方便的将变化的流量展现给网络管理员，并且根据曲线的变化判断接下来网络流量的变化趋势及目前网络中存在的网络问题，根据不正常的数据做出简单的处理方案，以便更好的维护整个网络。（2）数据的存储数据存储功能主要是完成时间和网络流量数据的存储，以便后续进行网络流量的情况的查看，主要是保存到文件中，后面可以进行文件的打开进行查看，可以做出网络问题的处理方案。有些网络流量检测软件中未能将测试的数据进行保存，导致后面的数据无法和原有的数据进行比较，不能分析网络所出现的问题，也不能统计网络流量的使用情况。（详细代码见附录）4.4网络数据包的分析当完成对数据包的捕获之后,接下来要完成的是数据包的分析过程。对所有网络数据包的分析，必须从链路层开始分析，然后分析网络层，再分析传输层，最后分析应用层。这是由于捕获到的数据包是一个数据帧，其中最外层的协议是链路层协议，然后从里到外分别额是网络层、传输层和应用层。分析