电子科技大学计算机入侵检测技术2.

第二章基于多传感器数据融合的入侵检测技术计算机入侵检测技术—基于多传感器数据融合的入侵检测技术第二章基于多传感器数据融合的入侵检测技术第二章基于多传感器数据融合的入侵检测技术第一节引言下一代的IDS需要通过各种异质的分布式网络传感器来获取并融合数据，以形成对网络系统的态势估计。这样的IDS用到了多传感器数据融合技术，其概念最早出现于20世纪70年代的军事领域，具有较强的军事特色它已成功应用于军事和民用的诸多方面。定义2.1数据融合（DataFusion）：是一个多级多侧面的加工过程，包括对多个数据源的数据和信息的自动化检测、互联、相关、估计和组合处理。第二章基于多传感器数据融合的入侵检测技术第一节引言本章的主要内容包括：1、提出了一种新型基于多传感器数据融合的网络入侵检测机制DFIDM；2、结合数据融合技术中的分布式多传感器系统，分别针对单目标和多目标的情况进行理论分析，提出了数据融合技术能较大程度提高入侵检测系统的有效性和准确性的理论依据；3、基于理论分析得出的依据，详细讨论DFIDM机制的设计与实现；4、研究DFIDM机制中数据校准、实时性保证等其它一些重要问题；5、对该机制进行了实验验证和性能分析；第二章基于多传感器数据融合的入侵检测技术第二节数据融合技术的理论依据一、数据融合技术的意义1、提高系统稳定性：即使某些传感器失效、受到干扰或无法覆盖事件和目标的全体时，仍有传感器可以提供信息；2、扩大观测在空间和时间上的覆盖范围：利用多个传感器，可以在不同时间和视点上观测同一目标，扩大了系统检测的时空范围；3、增加对象的信息量：由于采用了不同种类的、在时空上分布的传感器，可以在不同层面上获取对象更多的互补信息；4、增加信息的准确性；5、提高决策的准确性。第二章基于多传感器数据融合的入侵检测技术第二节数据融合技术的理论依据二、融合系统的功能模块从整体框架上看，一个融合系统的主要功能模块包括：传感器及其管理模块、数据管理模块、信息优化融合模块和数据传输通道。三、融合系统的基本结构根据多传感器系统中观测、决策和融合的关系，大体上可分为集中式和分布式两种基本结构。第二章基于多传感器数据融合的入侵检测技术三、融合系统的基本结构1、集中式结构中，各传感器对目标进行观测所得到的原始数据全部送到融合中心FC（FusionCenter），由融合中心完成对数据的各种处理，然后做出最终决策。观测器1观测器2观测器n融合中心最终决策...图2.1集中式融合系统第二章基于多传感器数据融合的入侵检测技术三、融合系统的基本结构2、分布式结构分为以下三种（1）并行结构对信道带宽与融合中心处理能力的要求较低，本章的DFIDM就采用这种结构。本地决策1融合中心最终决策...检测器1检测器1检测器1本地决策2本地决策3图2.2并行分布式融合系统第二章基于多传感器数据融合的入侵检测技术三、融合系统的基本结构（2）串行分布式融合系统。第一个检测器，其余每个检测器在接收自己的观测数据之外，还能获得上一个检测器的决策，融合后的最终结果由最后一个检测器输出。串行结构在链路发生故障时会导致整个系统都会受到影响，故应用场合比并行结构少检测器1检测器n检测器2观测1观测2观测n本地决策1本地决策2...本地决策n最终决策图2.3串行分布式融合系统第二章基于多传感器数据融合的入侵检测技术三、融合系统的基本结构（3）网络分布式融合系统。第0层的各个检测器接收自己的观测矢量并做出决策，形成第1层输入矢量。从第1层到第k层为中间融合层，第k＋1层为最终融合层。这种多层决策融合网络可以实现比单纯并行或串行更优的功能，但会大大增加系统的开销。本地决策1本地决策n本地决策2融合1，1融合1，2融合1，n1融合k，i融合k，1融合k，nk融合k＋1，nk.........第0层第1层第k层第k＋1层...图2.4网络分布式融合系统第二章基于多传感器数据融合的入侵检测技术四、分布式检测与决策融合的概念模型由传感器、决策器和融合中心组成，其模型如下图。图2.5单目标并行分布式检测与决策融合系统入侵行为u........u1unu2决策器g2决策器gn传感器2传感器nu2…………融合中心（FC）检测器（DM）g传感器1决策器g1第二章基于多传感器数据融合的入侵检测技术四、分布式检测与决策融合的概念模型a、先给出其概念模型：设有个假设（Hypothesis）：，，…，（对于二元假设为，可表示入侵行为的有或无）b、设有n个检测器，每个检测器DM（DecisionMaker）由传感器（Sensor）和决策器组成。第i个检测器对目标的观测矢量为=，i=1,2,…,n，每个检测器DM根据其目标观测矢量，按一定方法和准则做出相应本地决策=C、该模型仅对检测一种入侵行为有效，称为“单目标多传感器二元融合系统”；当系统需要同时对多种入侵行为进行检测，则需要对该模型进行扩展，称为“多目标多传感器二元融合系统”。m2Hixif（H）iu)(iixgixmH2H第二章基于多传感器数据融合的入侵检测技术五、通过多传感器提高系统准确性的几个结论结论一：在适当的融合策略方式下，多传感器融合之后的条件熵不大于单传感器的条件熵，即多传感器系统的融合输出可以获得更小的不确定度。结论二：当观测信息相关性最小，也即它们相互独立时，融合系统对输出不准确性的压缩能力（CompressAbility）最大。为此，在系统中各传感器之间应相互无关，互不干扰。结论三：融合系统的性能还取决于是否最大程度的提取了系统的先验信息，即系统的融合性能与各检测器的自身性能密切相关。第二章基于多传感器数据融合的入侵检测技术第三节单目标多传感器二元融合系统系统模型图如下：u检测器融合中心决策器g1决策器g2决策器gn传感器1传感器2传感器nU2g…………入侵类型（H,0）H1U1Un图2.6单目标、二元并行分布式融合系统第二章基于多传感器数据融合的入侵检测技术第三节单目标多传感器二元融合系统a、设二元假设：表示不存在目标，表示存在目标，它们的先验概率分别为和。各检测器将各自决策和决策水平与传递到融合中心，融合中心基于这些本地决策作出最后的决策。b、通过推导可得最终融合可靠性函数：niiiauauL10)12()(0H1H00)(PHP11)(PHPiDMiuFiPMiPu第二章基于多传感器数据融合的入侵检测技术第三节单目标多传感器二元融合系统结论四：对于单目标二元的多传感器融合系统，a、融合后的最终可靠性由被检测目标的先验概率、各检测器的虚警概率和漏报概率所决定，可表达为以上函数关系；b、由于各不相同，各检测器会对最终决策产生不同程度的影响。虚警率和漏报率越小的检测器对最终决策的影响越大；c、为保证融合公式中的准确性，在系统运行前和运行过程中，都应进行统一的功能测试；iaia第二章基于多传感器数据融合的入侵检测技术第三节单目标多传感器二元融合系统d、在得到最终融合可靠性系数后，系统还需要提供阈值和判决函数来得出最终的判决结果，可表示如下：：目标存在：目标不存在，若，若10)(1)(0))((HHAuLAuLuLf第二章基于多传感器数据融合的入侵检测技术第四节多目标多传感器二元融合系统在实际应用场合下，如果需要对同时发生的多种入侵行为进行判断，可将其扩展为多目标多传感器二元融合系统。其系统模型图如下：(u)检测器融合中心决策器g1决策器g2决策器gn传感器1传感器2传感器n(U2)g…………入侵类型1（H,0）H1……入侵类型2（H,0）H1入侵类型m（H,0）H1(U1)(Un)图2.7多目标、二元并行分布式融合系统第二章基于多传感器数据融合的入侵检测技术第四节多目标多传感器二元融合系统一、基本思路：将多目标多传感器二元融合系统的问题，转化为m个单目标多传感器二元融合系统的问题。二、系统所检测的目标是二元目标，每个目标代表了一种已知入侵类型，每个类型的二元假设分别代表了该入侵类型的发生与否，n个检测器仍然通过分布式结构对多个目标进行检测。三、依据：从系统的设计目标来看，并不需要在检测过程中建立不同入侵类型之间的关联，因而以上方法是符合设计要求的。第二章基于多传感器数据融合的入侵检测技术第四节多目标多传感器二元融合系统四、数据结构的变化：1、本地检测为向量，对于检测器i的本地决策可表示如下，一般地，表示检测器对攻击类型的检测结果。2、本地决策经过融合中心处理后得到的最终融合结果，也是一个与表达方式相同的向量。3、在融合中心进行数据融合的过程中，数据样本并非向量而是一个m×n的矩阵。jAij)(u)(iumA...01第二章基于多传感器数据融合的入侵检测技术第五节多目标多传感器二元融合系统DFIDM的层次模型和功能布局如图2.8所示最终决策TA（威胁估价）DR（数据提取模块）DS（分布式传感器）网络原始数据管理策略OR（对象提取模块）图2.8DFIDM的层次和功能模型第二章基于多传感器数据融合的入侵检测技术第五节多目标多传感器二元融合系统一、按整个系统的功能划分为5个层次：1、首先通过遍布系统各处的分布式传感器获取原始数据；2、原始数据经过校准过滤后填写标准的原始数据记录库，并形成相关对象；3、对象提取在时间（或空间）上相关联，其数据按统一标准关联、配对、分类，形成一个基于对象的集合；4、利用融合决策算法，对状态进行提取以形成对入侵行为的威胁评估；5、根据威胁评估进行最终决策；6、在以上层次结构以外，管理策略独立存在并管理、维护整个系统。第二章基于多传感器数据融合的入侵检测技术第五节多目标多传感器二元融合系统二、各部分功能说明1、分布式传感器DS（DistributingSensors）布置在系统的各个部分，主要分为两类，即基于主机的传感器和基于网络的传感器，这些传感器用来获取来自网络或者主机的原始数据；2、数据提取模块DR（DataRefinement）应布置于传感器本地，以便于提高效率；最终决策TA（威胁估价）DR（数据提取模块）DS（分布式传感器）网络原始数据管理策略OR（对象提取模块）图2.8DFIDM的层次和功能模型第二章基于多传感器数据融合的入侵检测技术二、各部分功能说明3、为保证检测的实时性，传感器网络必须比被保护的目标网络快，这样才能及时做出分析和响应，关于保证该系统检测功能的实时性问题，本章将在后面详细讨论；4、对象提取OR（ObjectRefinement）和威胁估价TA（ThreatAssessment）两个模块可一同布置于融合中心FS（FusionCenter）。这有利于对象提取时，通过配准形成一个基于对象的聚集的集合，同时也有利于状态提取和威胁评估时的数据集中处理；最终决策TA（威胁估价）DR（数据提取模块）DS（分布式传感器）网络原始数据管理策略OR（对象提取模块）图2.8DFIDM的层次和功能模型第二章基于多传感器数据融合的入侵检测技术第六节DFIDM的数据与对象提取一、入侵行为的表示与存储在DFIDM中选择类似于SNMPMIB（ManagementInformationBinary）的结构来分类存贮各类入侵行为，称之为入侵规则数据库，或规则树，如图2.9。TCP/IP1Hardware1.1Network1.2Transport1.3Application1.4Transport1.3TCP1.3.1UDP1.3.2ICMP1.3.3n1.3.nTCP1.3.1SYN1.3.1.1SEQ1.3.1.2XXX1.3.1.3n1.3.1.n图2.9规则树示意图第二章基于多传感器数据融合的入侵检测技术第六节DFIDM的数据与对象提取二、分布式传感器DS（DistributingSensors）DS布置在系统的各个部分来获取原始数据，其输出应该是完整的网络原始数据样本。三、数据提取模块DR（DataRefinement）DR应布置于传感器本地，以减小传输开销，其作用是对DS的原始数据进行预处理。主要功能为：1、对DS所提供的数据进行过滤，保证数据的规范性；2、对DS提