SVM在入侵检测中的应用

SVM在入侵检测中的应用中山大学计算机科学系张钢2004-10-14入侵检测的特点•研究正常数据与有入侵发生时的异常数据的分类问题•正常数据与异常数据相比，数据量要大得多•大多算法都需要使用历史数据进行训练•用于学习的历史数据是有限的•数据高维、小样本和线性不可分SVM的特点•SVM：支持向量机(SupportVectorMachine)•解决两类的分类问题•是专门针对有限样本情况的，其目标是得到现有信息下的最优解而不仅仅是样本数趋于无穷大时的最优值•有较为完善的理论基础：建立在统计学习理论的VC维理论和结构风险最小原理基础上SVM应用在入侵检测中的可行性•入侵检测是一个分类问题，通过检测把正常数据和异常数据分开•需要分类的数据复杂：高维、小样本和不可分性•SVM是在小样本学习的基础上发展起来的分类器设计方法，专门用于小样本数据，而且对数据维数不敏感•SVM适合于入侵检测领域高维异构不均衡数据集中的分类器设计和异常发现SVM简介-1•基本思想：输入空间中非线性可分的情形，选择一个适当的非线性映射，将输入空间中的样本点映射到一个高维的特征空间，使得对应的样本点在该特征空间中是线性可分的。SVM简介-2SVM简介-3SVM简介–解决非线性分类问题SVM简介-5•SVM解决非线性分类问题•核函数•解决影射所带来的潜在“维数灾难”SVM在入侵检测中的应用•目标数据集：主机的审计数据•步聚：–A.定义样本的距离–B.选取核函数–C.训练支持向量机–D.性能比较定义样本距离•目标数据集中既有连续的属性，也有离散的属性•核函数中需要对两个向量做点积•点积操作对离散值无法进行定义样本距离•样本：属性1、属性2…..属性n•属性有连续型和离散型两种•连续型属性：•离散型属性：•样本距离：核函数的选择•多项式核函数•径向基函数(RBF)•多层感知器•动态核函数核函数训练算法•SVM问题最终归结为求解一个二次规划问题•在维数很大和训练样本有一定规模的情况下，直接求解时间和运算量很大•解决方法：迭代法–A.块算法–B.固定工作样本集算法我的论文•建立基于SVM的针对主机审计数据的入侵检测模型•引入RoughSet理论*(主要是数据预处理）•基于自己定义的样本距离(AVDM)设计策略动态改进核函数•增量训练算法参考文献•基于SVM分类机的入侵检测系统陈光英.张千里.李星.通信学报2002年05期•基于支持向量机的网络入侵检测李辉.管晓宏.昝鑫.韩崇昭.计算机研究与发展2003年06期•基于支持向量机的异常检测谭小彬.奚宏生.王卫平.殷保群.中国科学技术大学学报2003年05期•基于SVM技术的入侵检测李昆仑.赵俊忠.黄厚宽.田盛丰.信息与控制2003年06期•基于支持向量机的入侵检测系统饶鲜.董春曦.杨绍全.软件学报2003年04期参考文献•Hsuan-TienLinandChih-JenLin.Astudyonsigmoidkernelsforsvmandthetrainingofnon-psdkernelsbysmo-typemethods.Technicalreport,DepartmentofComputerScienceandInformationEngineering,NationalTaiwanUniversity,Taipei,Taiwan,2003.Availableat~cjlin/papers/tanh.pdf.•JuweiLu,K.N.Plataniotis,andA.N.Venetsanopoulos.``Facerecognitionusingkerneldirectdiscriminantanalysisalgorithms''.IEEETransactionsonNeuralNetworks,14(1),January2003.•IngoSteinwart.Sparsenessofsupportvectormachines.Technicalreport,2003.•EmmanuelVazquezandEricWalter.Multi-outputsupportvectorregression.2003.•AndredˇAlmeidaMonteiro.Interestratecurveestimation:afinancialapplicationforsupportvectorregression.Technicalreport,2004.参考文献•AndreasChristmannandIngoSteinwart.Onrobustnesspropertiesofconvexriskminimizationmethodsforpatternrecognition.Technicalreport,2003.•LawrenceK.SaulFeiShaandDanielD.Lee.Multiplicativeupdatesfornonnegativequadraticprogramminginsupportvectormachines.InSebastianThrunSuzannaBeckerandKlausObermayer,editors,AdvancesinNeuralInformationProcessingSystems15,Cambridge,MA,2003.MITPress.•F.FleuretandH.Sahbi.Scale-invarianceofsupportvectormachinesbasedonthetriangularkernel.2003.•SuykensJ.A.K.,VanGestelT.,VandewalleJ.,andDeMoorB.Asupportvectormachineformulationtopcaanalysisanditskernelversion.IEEETransactionsonNeuralNetworks,14(2):447-450,March2003.•F.R.BachK.FukumizuandM.I.Jordan.Dimensionalityreductionforsupervisedlearningwithreproducingkernelhilbertspaces.Technicalreport,2003.参考文献•MatthiasSeeger.Gaussianprocessesformachinelearning.InternationalJournalofNeuralSystems,14(2):1-38,2004.•VanGestelT.,SuykensJ.,DeMoorB.,andVandewalleJ.Automaticrelevancedeterminationforleastsquaressupportvectormachineclassifiers.InProc.oftheEuropeanSymposiumonArtificialNeuralNetworks(ESANN'2001),Bruges,Belgium,pages13-18,Apr.2001.•J.A.K.Suykens.Supportvectormachines:anonlinearmodellingandcontrolperspective.EuropeanJournalofControl,SpecialIssueonfundamentalissuesincontrol,7(2-3):311-327,Aug.2001.