大规模网络安全态势感知――需求、挑战与技术

大规模网络安全态势感知—需求、挑战与技术贾焰教授国防科大计算机学院网络所2009年10月22日报告内容„什么是态势感知？„网络安全态势感知研究意义„网络安全态势感知关键技术„YH-SAS…一个新型的网络安全态势感知系统„机遇和挑战态势预测（三级）态势感知定义„wikipedia…Situationawareness,orSA,istheperceptionofenvironmentalelementswithinavolumeoftimeandspace,thecomprehensionoftheirmeaning,andtheprojectionoftheirstatusinthenearfuture.…态势感知就是在一定的时空条件下，对环境因素进行获取、理解以及对其未来状态进行预测。态势理解（二级）态势要素获取（一级）态势感知定义（续）„Adam,1993…SAissimply“knowingwhatisgoingonsoyoucanfigureoutwhattodo”。…态势感知可简单理解为“了解将要发生的事以便做好准备”。„Moray,2005…SAisashorthanddescriptionfor“keepingtrackofwhatisgoingonaroundyouinacomplex,dynamicenvironment”。…态势感知可简单描述为“始终掌握你周边复杂、动态环境的变化”。相关概念—态势评估„JayBayne,2006…SituationAssessment(SAS)istorefertotheactiveprocessesandbehaviors(andconditions)thataffordthedevelopmentandmaintenanceofsituationknowledge.…态势评估就是为实现态势感知而采用的方法、及其相关的行为过程。技术阶段态势感知态势评估结果过程雨林木风幻灯片5雨林木风2更加简短的定义雨林木风,2009-10-19态势感知的发展历史发源于孙子兵法：“知己知彼，百战不殆”发源于孙子兵法态势感知的发展历史首次作为概念提出于一战发源于孙子兵法首次提出于一战态势感知的发展历史发源于孙子兵法首次提出于一战在越战和朝鲜战争中被美国空军系统研究在越战和朝鲜战争中系统研究态势感知的发展历史发源于孙子兵法首次提出于一战在越战和朝鲜战争中系统研究目前广泛应用于军事、电力、交通、通讯等领域台海军事态势马德里晚高峰交通态势美国工作岗位态势报告内容„什么是态势感知？„网络安全态势感知研究意义„网络安全态势感知关键技术„YH-SAS…一个新型的网络安全态势感知系统„机遇和挑战骨干网已有的防御手段运营商电信移动网通重要信息系统运营商重要信息系统骨干网IDSFWVDS主机防御系统防御手段单维度性基于主机的病毒查杀工具基于网络的病毒查杀工具用于加强访问控制的软硬件保护设施网络或系统的异常访问行为检查IDSFWVDS主机防御系统海量、冗余的告警信息Snort报警数据Nagios服务监控Ntop流量监控Nessus扫描结果CheckPoint报警数据网络安全态势感知定义„TimBass,1999…Cyber空间态势感知(CyberspaceSituationAwareness),是指在大规模网络环境中，对能够引起网络态势发生变化的安全要素进行获取、理解、显示以及预测未来的发展趋势。态势感知在网络安全监控中的地位和作用报告内容„什么是态势感知？„网络安全态势感知研究意义„网络安全态势感知关键技术„YH-SAS…一个新型的网络安全态势感知系统„机遇和挑战态势评估模型—研究现状与存在的问题Endsley的理论模型Endsley的理论模型Endsley的理论模型哈工程的NSAS模型态势评估—研究现状与存在的问题哈工程的NSAS模型Endsley的理论模型哈工程的NSAS模型中科大的数据融合模型态势评估—研究现状与存在的问题中科大的数据融合模型软件所层次化模型态势评估—研究现状与存在的问题软件所层次化模型Endsley的理论模型哈工程的NSAS模型中科大的态势势评估模型中科大的数据融合模型一个广泛接受的通用理论模型针对局域网和单机的日志数据的收集和分析，尚不能适用于大规模互联网网络安全的态势评估需求态势评估—研究现状与存在的问题软件所层次化模型软件所层次化模型Endsley的理论模型哈工程的NSAS模型中科大的态势势评估模型中科大的数据融合模型大规模网络安全态势评估模型探针数据上报数据数据数据集成数据预处理数据集成关联分析与告警关联分析引擎元知识告警态势预测IDSFWNetFlow运营商职能部门网络用户知识库专家元数据网络安全数据库指数模型指数计算指标体系及量化态势展示态势可视化指标配置模拟预测时序预测规则库预测模型…………大规模网络安全态势评估模型探针数据上报数据数据数据集成数据预处理数据集成关联分析与告警关联分析引擎元知识告警态势预测IDSFWNetFlow运营商职能部门网络用户知识库专家元数据网络安全数据库指数模型指数计算指标体系及量化态势展示态势可视化指标配置模拟预测时序预测规则库预测模型…………防火墙日志数据数据集成—问题描述IDS数据（数据库格式）服务检测（日志数据）弱点扫描（XML格式日志数据）？数据表示和存储形式各异，如何统一处理？数据集成—研究现状¾基于模式映射的异构数据集成InformationManifold系统是最早出现的异构数据集成系统之一，基于模式映射为多数据源提供一个统一的查询接口¾基于XML中间表示的异构数据集成斯坦福大学的数据集成项目ActiveXML，基于XML进行数据表示，基于Web服务实现对动态更新的数据源的访问。¾基于本体进行异构数据集成E.Mena等人实现的基于本体的字典异构解决方案OBSERVER，利用已经存在的领域本体对数据源进行描述，查询重写以本体之间的映射关系为基础进行。挑战网络安全产品层出不穷，模式转换需要在线扩展。探针产生的海量流数据，需要进行实时的抽取转换。匹配生成配置文件基于自动格式转换的可扩展数据集成技术探针日志探针网络安全数据库网络安全事件统一格式转换配置文件监听进程格式转换数据采集Server数据分类、去重、归并处理匹配生成配置文件转换配置文件监听进程格式转换探针探针数据AgentServer数据集成—取得的成效„已经对20余种网络安全产品进行了集成研究，包括：…入侵检测：Snort…防火墙：CheckPoint…弱点扫描：Nessus…服务监控：Nagios…流量监控：Ntop…拓扑扫描：Nmap………大规模网络安全态势评估模型探针数据上报数据数据数据集成数据预处理数据集成关联分析与告警关联分析引擎元知识告警态势预测IDSFWNetFlow运营商职能部门网络用户知识库专家元数据网络安全数据库指数模型指数计算指标体系及量化态势展示态势可视化指标配置模拟预测时序预测规则库预测模型…………关联分析—问题描述„IDS产生大量误报和重复报警关联分析—研究现状¾加利福尼亚州SRI研究中心的Valdes.A利用报警信息特征的相似性来对来自不同类型IDS的报警信息进行综合关联分析¾麻省理工学院林肯实验室的M.Dain提出基于于攻击场景构建的概率关联方法挑战单维度的关联基于类似的特征前后场景的高度依赖基于多维关联的网络安全事件关联分析技术事件与脆弱性关联分析事件与资产关联分析事件与事件关联分析关联规则数据库网络安全告警数据库网络安全事件事件分类和量化资产数据脆弱性数据告警告警告警网络安全事件网络安全事件关联分析—取得的效果„有效减少误报、重复报警，约1/200„根据原始网络安全事件数据，通过关联分析发现新的网络安全攻击告警„对网络安全事件的严重程度进行定级大规模网络安全态势评估模型探针数据上报数据数据数据集成数据预处理数据集成关联分析与告警关联分析引擎元知识告警态势预测IDSFWNetFlow运营商职能部门网络用户知识库专家元数据网络安全数据库指数模型指数计算指标体系及量化态势展示态势可视化指标配置模拟预测时序预测规则库预测模型…………指标体系与量化评估—问题和挑战„如何确定影响指标体系的各个要素？„如何保证指标体系的动态可配置性？„如何建立科学的量化模型和聚集模型？„如何是指数可接受、可理解？指标体系与量化评估—研究现状¾优利（Unisys）公司的提供优利安全指数（UnisysSecurityIndex）对国家安全、财务安全、互联网安全和个人安全进行量化，主要方法是问卷调查的方法¾电信网网络安全评估指标体系，是工信部电信研究院针对电信网络安全提出的，包括电信网物理安全、传输网络安全、业务网络安全的电信网络安全评估指标¾SilkRoad的TimBass在提出网络安全态势感知概念后，针对局域网的特征特出了一系列的网络安全态势量化评估的方法挑战尚缺乏网络安全因素全面考虑的互联网安全态势的国家指标体系已有的量化评估方法大多针对局域网层次式大规模网络安全量化指标体系网络安全态势综合安全指数展示构件库基础设施运行安全指数脆弱性指数威胁指数一级指数流量指数服务状态指数资源消耗指数聚集模型库漏洞状态指数防护软件指数二级指数木马指数DDoS指数木马事件数木马严重程度木马增长率木马聚集程度重要IP比例加权平均法调和三角模法BP神经网络法报表展示地理地图展示拓扑展示最大-最小值法反正切函数法中间值法归一化模型库叶节点指数态势参数预测三级指数指标体系与量化评估—进展和成效„标准组织立项…网络安全监控系统技术要求（2009H141）…网络安全评价指标体系（2009B43）…网络脆弱性指数评估标准（2009H144）…网络威胁指数评估标准（2009H145）„已在工信部通信保障局试用…《互联网网络安全评价指标体系》（保障局版）…从2009年6月16日至今，已发布《互联网网络安全指数通报》4期大规模网络安全态势评估模型探针数据上报数据数据数据集成数据预处理数据集成关联分析与告警关联分析引擎元知识告警态势预测IDSFWNetFlow运营商职能部门网络用户知识库专家元数据网络安全数据库指数模型指数计算指标体系及量化态势展示态势可视化指标配置模拟预测时序预测规则库预测模型…………网络安全事件预测—问题描述DDoS攻击蠕虫传播网络安全事件预测—研究现状¾HoneyNet组织基于统计学原理，采用“3DMA”方法进行网络事件预警。¾北京理工大学信息安全与对抗技术研究中心，通过线性回归、多项式回归和指数平滑等多种预测方法对网络的未来威胁趋势进行分析和预测。¾日本三菱研究所的“网络天气预报系统”，通过对特定端口扫描数量的预测，预报出可能发生的网络攻击及风险态势。挑战传统的预测方法试图建立单一的全局模型进行预测，而安全事件出现的模式，具有局部性和多模式性传统的预测方法均基于精确统计数学模型，而网络安全影响因素众多，且具有混沌性基于特征事件频繁情节的安全事件预测方法所有频繁情节历史数据训练数据分段离散事件化历史序列挖掘事件序列频繁情节训练阶段匹配频繁情节前缀事件近期数据近期数据分段离散事件化近期序列预测阶段预测数据预测事件转换为数值形式预测事件预测用频繁情节提取频繁情节后缀事件显著的实验效果863-917木马数据规模预测863-917木马数据规模预测显著的实验效果863-917木马数据规模预测蜜网捕获的僵尸网络规模预测蜜网捕获的僵尸网络规模预测显著的实验效果863-917木马数据规模预测蜜网捕获的僵尸网络规模预测各种预测模型精度的比较FE_MVFE_TLinearQuadWaveletSynthetic_controlECG200TraceFaceAllOSULeafAdiacBeef50words05101520(%)我们方法（红色圈内）与线性回归、二次回归、基于小波方法的预测精度大规模网络安全态势评估模型探针数据上报数据数据数据集成数据预处理数据集成关联分析与告警关联分析引擎元知识告警态势预测IDSFWNetFlow运营商职能部门网络用户知识库专家元数据网络安全数据库指数模型指数计