基于数据挖掘技术的安全事件分析平台的研究与设计

成都理工大学硕士学位论文基于数据挖掘技术的安全事件分析平台的研究与设计姓名：潘凤申请学位级别：硕士专业：计算机应用技术指导教师：王华军20090601摘要I基于数据挖掘技术的安全事件分析平台的研究与设计作者简介：潘凤，女，1981年2月生，师从成都理工大学王华军教授，2009年6月毕业于成都理工大学计算机应用技术专业，获得工学硕士学位。摘要计算机和互联网技术正在改变着人类社会的面貌，与之伴随而来的是信息和网络的安全问题。为了保障网络的可用性及网络信息的完整性和机密性，防止来自外部或内部的攻击行为，网络管理者花费了大量的资源来购买防火墙、防病毒软件等网络安全工具，而这些网络安全工具和网络设备大多以日志和告警等形式记录大量的网络安全数据，所以这些数据就成为网络安全工作中防御、检测和响应的重要基础依据。然而，在现实网络环境中，这些安全数据往往是海量且零星杂乱的，并不能直接作为有效的安全信息而存在，必须对这些数据进行深层次的分析，从中发现有价值的信息。现有的数据库技术，可以高效的实现数据的录入、查询、初步统计等功能，但是要想从海量的安全数据中发现潜在的威胁和攻击，根据现有的数据预测未来的发展趋势，是非常困难的。近年来，数据挖掘技术引起了信息产业界的极大关注，其主要原因是存在大量的可以广泛使用的数据，而吸取隐藏在这些数据后面的有用知识，并将其加以利用的能力变得愈加重要。利用已知的安全事件数据进行安全管理与审计分析的思想，最早是1980年Anderson的论文中正式提出的，经历了20多年的研究和发展，已形成了较为完备的理论和实际的应用系统。通过对国内外研究概况的研究和分析，可发现大多数产品都是通过对已存在的安全事件日志进行分析和管理。其中有很多优秀的研究成果和产品，但是在错综复杂的海量数据面前，仅仅利用传统的审计技术去静态分析和管理已知的安全数据已力不从心。于是，国内外的很多研究机构和公司都在积极地研究和开发基于数据挖掘技术的各种安全审计管理产品。鉴于此，作者着手研究基于数据挖掘技术的安全事件分析平台。将数据挖掘及相关技术运用到网络安全事件分析当中，既可弥补传统的基于审计技术的安全事件管理的不足，又可更加高效地从海量的安全事件数据中提取对用户有价值的信息。利用这些信息可以更准确的预测、分析和评估网络中的各种安全事件和威胁。本论文主要以公司项目为依托，基于以上思想实现了一个基于B/S结构的安成都理工大学硕士学位论文II全事件分析平台。该平台服务器端负责信息采集、处理，将分析处理的结果反馈给浏览器端，以简洁直观的方式把当前网络的安全状态呈现给用户。平台通过对来自不数据源的安全事件信息进行挖掘分析，去评估当前网络的安全状态。该平台的特色在于，在安全事件分析中对于来自不同数据源的安全事件，打破以往孤立分析的局面，而采用关联分析，并配以通过训练集事先定义好的模式库，用库中的模式规则去匹配当前的安全事件，将匹配的程度用可信度直观表示出来，用户可对当前网络的安全状态一目了然。根据用户需要可不断更新丰富模式库，将新出现的威胁及时增加到模式规则中。对关联后的事件，采用启发式的动态风险评估，并根据风险的值，来判定安全事件是否是成为一个安全事故。用户可根据分析后呈现出来的相关状态信息做出响应。本论文研究重点主要包含两大方面，一是安全事件的收集与预处理，网络中存在的各种各样的安全事件，本论文中对由IDS、防火墙、路由器、网关等多种网络安全设备产生的丰富日志和告警信息集中起来进行分析；二是深入研究和分析数据库中的数据，将数据挖掘中的关联分析及人工智能中的模式识别等技术运用其中，发现海量数据背后隐藏的知识，做出当前网络安全状态的正确判断。二者中后者是研究工作的核心内容。本论文研究成果的应用目标是针对拥有多台网络安全设备和中大型计算机网络的部门提供以下几方面服务：（1）通过数据挖掘和关联技术能力，解决海量的安全事件信息难以人为管理、缺乏对来自不同数据源的离散数据集中分析的问题。（2）提供一个全集成的事故响应系统，包含集成在内的可不断更新的、供与安全事件信息匹配的规则库。实现一个较为全面和完善的安全事件分析处理机制。（3）辅助用户进行基于当前网络状况实时分析结果的“动态”安全风险评估。关键词：网络安全，安全事件，事件分析，数据挖掘，关联分析AbstractIIIDesignandresearchofsecurityeventanalysisplatformbasedondataminingtechnoledgeIntroductionofauthor:PanFeng,Female,borninFebruary1981,apprenticedwithProfessorWangHuaJunofChengduUniversityofTechnology,specializedincomputertechnology,graduatedinJuly2009,havetakenmaster’sdegreeoftechnology.AbstractComputerandinternetarechangingoursocietybut,italsoleadstoinformationandnetsecurityproblem.Administratorhavespendlargequantityofresourcestopurchasenetsecuritysoftwarelikefirewall,anti-virusprogram,tryingtoprotecttheintegralityandsafetyofwebsiteanditsinformationdata,topreventanyattackcomingfromoutsideorinsideofweb.But,allthesesecurityprogrammingandequipmentarekeepingrecordingrealtimedatainformoflogandwarning,whichalreadybecametheimportantresourcefordefending,detectingandresponsingtoanysecurityevent.However,inrealwebapplication,thesesecuritydataareinhugequantityandsomewhatinamasswhichcannotbeuseddirectlyaseffectiveinformation.Sodeeperanalysistothesedataisnecessary,hopingwecanfindanyusefulinfo.Withcurrentdatabasetechnology,wecanwrite,sortandanalysisthemwithhighefficiency,butwecanhardlyfindanypotentialthreatorattackfromsuchhugequantityofdata,orforeseethedeveloptrendbasedoncurrentdata.Intheseyears,dataminingtechnologydrawsmoreconcernininformationindustry.Becausetherearelotsofdatabeusedwidely,anditbecomemoreandmoreimportanttolearntheusefulknowledgehidesinthesedata,touseit.In1980,theearliesttheorywaspushedbyAnderson;wecanperformsecuritymanagementandauditanalysisbasedontheknownsecurityevent.After20yearsresearchinganddeveloping,itbecomesanintegratedtheoryandapracticallyapplicationsystem.Throughtheresearchingandanalyzingfortheresearchingstatusinhomeandabroad,wefoundmostproductsaimedattheanalyzingandmanagingforthelogofthesecurityevent.Therewerelotsofexcellentresearchingfindingandproductamongthem.Inthepresenceofmassreticuladata,itwasnotenoughtoanalyzeandmanagetheknownsecuritydatausingtraditionalauditingtechnology.成都理工大学硕士学位论文IVAndthen,manyorganizationsandcompaniesinhomeandabroadactivelyresearchanddesignvariousmanagementproductbasedondataminingtechnology.Whereastheabovementioned,wearefocusingontheresearchofdataminingfordatasecurityanalysisplatform.Putthedataminingandrelativetechnologytotheanalysisofinternetsafetyevent,cannotonlysolvetheshortcomingsbythetraditionalaudittechniquesmanagement,butalsoeffectivelyacquireusefuldatabyusersinaseaofinformation.Sothethreatsorsecuritycanbeeasilyandaccuratelyforeseen,analyzedandevaluated.Basedonthetheorymentionedabove,withbuildingacompanyproject,thispaperhasrealizedasafetyanalysesplatformfoundonB/Sconfiguration.Theservertakeschargetocollect,analyzedataandtaketheanalysistothebrowserbeforetheuser.Thisplatformevaluatestheinternetsafetystatusthroughminingandanalyzingthedifferentsourcedatasafetyevent.Thefunctionofthisplatformisusingdatacorrelationanalysistechniqueinsteadofanalyzingthedataindividuallyfromdifferentdatasourcebytraditionalway,bythepre-programmeddatabasetomatchandanalyzethedata,thenexpressthematchingdegreeofthereliability.Sothesafetyoftheinternetisclearfortheusers.Accordingastheuserdemand,themodelibrariescanbeconstantlyupdated,andthefreshthreatcanbeaddedtothemoderules.Forthesecorrelativeevents,usingheuristicevaluatingmethod,judgeifth