网络环境下异构日志信息分析

网络环境下异构日志信息分析专业：计算机应用技术学生：纪乃丹学号：S309060149指导教师：王慧强教授主要内容1.课题目的及意义2.国内外研究现状3.研究内容1.研究目的及意义随着计算机和网络技术的不断发展，互联网用户在全球正以迅猛的速度增长，入侵攻击的威胁也是人们始料不及的。保障网络和信息安全正成为商业和政府机构日益关注的焦点问题。网络环境下大量的日志数据详实地记录了系统和网络中的运行事件，通过它可以了解网络系统运行状况，诊断差错异常，分析和定位可能出现的攻击等，构建一个网络环境下日志的采集和预处理平台,为网络安全态势评估提供重要的数据支持。2.国内外研究现状2.1国外研究现状Anderson首次提出了利用系统自身的日志信息进行安全审计的思想GFI软件公司开发的LANguardSecurityEventLogMonitor2.2国内研究现状中国科学院的连一峰等人利用数据挖掘中的关联分析和序列挖掘技术对日志信息处理，挖掘出用户行为的异常行为。北交大的蒋嶷川等提出综合关联分析、序列模式分析、分类分析和聚类分析4种挖掘方法，从预处理后的日志数据中提取安全规则。思科公司研发的Mars系统北京清华得实公司的NetSC日志审计系统华为公司的XLog网络日志审计系统2.3现有研究不足日志数据源定义模糊，没有统一标准。停留在日志数据的采集、查询、统计等功能，无法发现数据中存在的关联、关系和规则。网络安全状态的日志分析单一化，集成化研究较少。缺乏挖掘数据背后隐藏的知识的手段，导致了“数据爆炸但知识贫乏”的现象。3.研究内容主要对日志信息的提取、预处理和分析三个部分进行了研究。3.1日志信息获取和预处理的结构框架IDS日志其他日志网络设备日志主机日志日志采集模块数据清洗数据约简数据分类数据规范化初步信息规则库日志预处理模块上层应用原始数据3.2日志数据源选取日志数据源安全设备网络设备主机设备IDS防火墙Windows操作系统Linux操作系统交换机路由器3.3日志采集方法文件型日志采集文件型日志是指原始日志数据以文件的方式存储于一个固定的位置。对此种日志的采集主要问题是解决对日志文件的读取，以及在透彻了解日志数据的结构之后对其进行相应的拆分。基于SYSLOG协议的日志采集支持syslog的设备将日志以网络协议的方式发送到syslog日志服务器。然后在syslog日志服务器内部进行日志的解析。3.4日志采集流程采集代理启动获取采集策略采集日志采集完成上传预处理模块等待一个时间片NY存入原始数据库主要做的是填补缺失数据、消除噪声数据、过滤重复数据。网络环境下的日志数据量一般都非常大，而且重复的数据很多。过大的数据量可能会降低后续的分析效率和效果。数据清洗的目的就是减少日志的数据量，过滤掉重复记录，去除噪声数据。3.５日志预处理模块研究数据约简对采集到的日志属性归约表示，减少属性，但仍接近于保持原数据的完整性。这样，在约简后的日志数据集上挖掘将更有效，并产生相同或几乎相同的分析结果。目前主要有基于专家知识的数据约简和基于粗糙集理论的数据约简方法。数据分类是从数据对象中发现共性，并将数据对象分成几种不同类的一个过程。数据分类是数据挖掘应用领域中极其广泛的重要技术之一。数据分类的方法主要有决策树分类方法和Bayes分类方法。预处理模块启动数据清洗数据约简数据分类数据规范化收到日志数据YN提交应用上层通过格式化处理，我们就可以把网络上的多源异构日志数据转换成具有固定格式的事件序列，形成“规范”的数据—XML格式数据。3.6日志分析三种代表性的日志分析方法:1.筛选法。2.规则匹配法。3.事件解释法。3.7日志分析系统结构图3.8实现效果图IDS华为二层交换机华为三层交换机华为二层交换机IDSLINUX主机群WINDOWS主机群数据库服务器DMZSYSLOG服务器谢谢！