瀚思大数据智能SOC解决方案2017年3月22什么是SOC33安全运营现状安全设备众多、纷繁杂乱、缺少统一管控平台“救火式”IT运维,无法快速定位故障及影响范围国家法律、行业法规、企业规定监管要求海量日志信息,技术人力有限非安全产品也会产生安全相关事件44SOC的定义起源:SOC(SecurityOperationsCenter,即安全运营中心)概念起源于国外。之前的NOC(NetworkOperationsCenter,即网络运行中心)强调对客户网络进行集中化、全方位的监控、分析与响应,实现体系化的网络运行维护。随着信息安全问题的日益突出,安全管理理论与技术的不断发展,企业需要从安全的角度去管理整个网络和系统,从而产生了SOC的概念。55SOC的变革和新一代SOC的架构66发展过程:SOC经历了从开始的1.0到2.0的发展过程,进入到2014年随着大数据、云计算、机器学习等新技术的出现,以及客户业务上的需求和问题,产品逐步向SOC3.0迈进。SOC的变革•以业务为核心•简单关联分析•数据源以日志为主•系统架构为关系型数据库SOC2.0传统SOC面临的挑战•以合规需求为主•日志集中的采集、存储和检索•以资产为核心SOC1.0•海量数据的采集和存储困难•异构数据的存储和管理困难•安全事件的调查效率太低•对于趋势性的东西预测较难•系统交互能力有限•对历史数据的检测能力很弱•分析的方法较少77新一代SOC的技术框架业务为核心,以大数据和机器学习为技术支撑,具备大规模数据的实时异常检测和分析、智能化安全分析、用户异常行为分析、全流量分析、安全可视化、风险预警、威胁情报共享和安全态势感知等新一代SOC能力。Data Resources数据源WorkFlow工作流EDR/NDR终端/网络监测和响应TIP威胁情报NGSIEM下一代SIEMNTA网络流量分析UEBA用户行为分析Prevention and mitigation tools防护工具SOC ToolIntegrationFrameworkn大规模数据处理能力n用户行为分析n全流量分析n外部威胁情报n安全态势感知能力SOC3.0的变化88瀚思大数据智能SOC平台99瀚思大数据智能SOC平台威胁预警调查分析态势感知安全监测统计报表资产管理工单处理平台管理恶意URL恶意域名恶意IPOday漏洞DNS库恶意代码人员账号组织机构安全域IP地址库资产库漏洞库配置库安全信息收集旁路抓包NetFlow采集日志采集事件库原始数据图形数据库规则分析机器学习威胁情报分析用户行为分析流量分析EnrichParse+Format业务层情报中心支持数据采集层数据处理与计算数据储存安全设备应用系统网络设备终端认证系统主机/VM数据库……中间件10处理的数据类型威胁情报恶意URL恶意IPDNS信息病毒特征码安全日志网络设备主机中间件虚拟化安全设备应用系统数据库私有云平台资产信息人员信息设备信息系统信息应用信息大数据安全分析系统网络流量Netflow全流量数据预处理•支持国内外几十家厂商、1000余种常见系统和设备日志的自动解析、标准化、丰富化•支持SNMP、SYSLOG、Agent、Netflow、API接口、数据库接口、FTP、端口镜像等采集方式1111事前防范-威胁情报瀚思安全威胁情报分析以部署各地的安全态势感知探针为来源,结合机器学习智能化分析筛选,生成精准的入侵检测指标(IOC),并通过可视化形式展现的智能安全威胁分析系统,能帮助用户对安全事件确认、安全态势感知、甚至攻击取证提供精准、可靠的依据。图像数据库查询引擎n基于ES的图数据库系统n底层存储为源生图数据结构,优化数据关联搜索n可对查询结果进行图关联和列表形式展现n多维数据融合:Whois信息、终端行为信息、病毒监测信息、IP信息、域名信息、漏洞知识库等高威胁IP检测引擎n基于rocksdb实现n企业级查询速度:每秒可处理超3万的待检IPn多调用方式:图库检索、API调用n海量样本处理能力:日处理超2万样本n全自动化部署,极速安装n多平台支持:支持32位、64位可疑实体查询n结果直接写入图库,方便多维数据关联恶意域名检测引擎终端行为分析引擎n基于rocksdb实现nAPI调用,操作简单翰思安全威胁情报分析系统架构威胁情报信息关联展示1212历史数据安全规则库UBA场景库实时数据建模器机器学习算法正常访问模型事前防范-机器学习通过机器学习和算法对大量的历史日志和安全信息的关联,对用户的行为进行一个长周期的分析,建立正常用户行为基线或画像,找出异常行为和隐藏的威胁,无论是外部APT攻击,还是内部人员账号失窃或是盗取内部数据。n机器学习能够预测用户需求,并根据不断变化的环境来适应,辅助其它引擎优化规则库和场景库n安全分析以无监督学习为主(极少的标记数据)n有人工辅助的半监督学习(安全专家、运维人员反馈)nHansight算法结构(张量(Tensor)系、图分析、聚类、深度学习)1313事前防范-机器学习457268n0-100之间的恶意分值用户名用户角色或者部门n内部威胁场景具体的行为序列n5/2当天三个维度的异常与同角色/部门基线的对比n三个行为维度在更长时间周期的变化情况3n匹配上的内部威胁场景n关键恶意行为1n登入登出异常是因为同角色中唯一一人20:00-24:00中登录n从5/2开始表现异常,尤其以文件访问模式变化最大n对于规则无法匹配的,以用户为主体从时间序列、行为序列等多维度进行分析n以部门、个人、资产、资产群等为单位建立多维度行为基线n关联用户与资产的行为n用机器学习算法或预定义规则找出严重偏离基线的异常行为n非白即黑,外加黑的灰度(异常分值)1414事中监控-实时流计算基于DFI的流量分析威胁情报分析引擎规则分析引擎告警高中低流量异常协议异常行为异常利用大数据分析的模型算法和处理能力,对海量的信息进行连续、实时计算,利用统计分析、关联分析和机器学习等多种技术手段来检测流量和用户行为的异常模式,帮助安全分析人员智能识别安全风险。n大于50000EPS处理能力;n大于100000FPS的流量处理能力;nPB级数据秒级检索;n可灵活线性扩展,保护现有投资;n从数据采集到分析取证和告警在1分钟内完成;n采用Spark Streaming流式处理,日志实时采集、入库、分析、告警;1515事中监控-实时响应瀚思大数据智能SOC平台可根据组织的安全事件的实际处理流程将流程固化到平台中,通过预设的响应方式实现信息安全事件线上处理的目的,提高运维效率。响应方式说明派发工单通过内置工单流转,实现了安全事故的记录从创建、处理到关闭的生命周期管理发送一个工单到运维系统例如发送给HPServiceDesk,或者BMC将攻击者或受害人添加到黑白名单中将产生该关联事件的重要原始属性添加到黑白名单中,供管理员重点观察,可以设定观察周期发送电子邮件发送一封电子邮件给指定人带外响应指通过网络之外的方式进行告警响应,避免由于网络故障导致告警不可达。如手机短消息声光电告警屏幕闪动、声音告警支持的响应方式安全警告列表1616事后追溯-追踪溯源瀚思大数据智能SOC平台利用PB及的数据量,采用强大的检索分析引擎,结合全面海量的威胁情报数据,通过图形化的工具协助安全运维人员进行安全事件的追踪溯源分析,快速找到关键线索,从而提高安全事件的调查处置效率。1717事后追溯-攻击链分析瀚思大数据智能SOC平台基于洛克希德马丁公司的攻击链模型,将告警之间的时序关系、因果关系进行关联分析,从而还原整个攻击链。通过当前告警可追溯攻击链中与其相关的各个阶段的告警时间,从而为分析人员提供便捷的事件分析全景图洛克希德马丁公司提出的攻击链模型:n探测扫描阶段n渗透攻击阶段n攻陷入侵阶段n安装工具阶段n恶意行为阶段1818持续改进优化-报表报告n瀚思大数据智能SOC平台报告功能包含过去任意给定时间段内的多种安全态势报表或报告。n报告种类包括按安全事件类型,按安全事件严重性,按部门,按人员,按资产等分类,甚至可以直接生成合规报告。n报告的视图种类可以进行增删和调整。n报表报告输出格式可以为PDF、DOC、EXCEL、HTML、JPG等多种常用的标准格式,或将报表结果直接打印输出。1919瀚思SOC对比新技术架构新一代SOC技术架构瀚思大数据智能SOC匹配度SIEM大数据安全分析平台100%NTANTA+深度学习100%UBAUBA100%威胁情报TI90%EDR/NDR定制50%工作流第三方集成50%2020核心竞争力大数据处理能力智能安全分析安全可视化ü大于50,000EPS处理能力;ü规则分析引擎ü威胁情报分析ü流量分析引擎ü机器学习引擎ü大于100,000FPS处理能力;ü用户行为分析üPB级数据秒级检索;ü安全态势感知ü丰富的可视化工具2121海量数据处理能力n大于50000EPS处理能力;n大于100000FPS的流量处理能力;nPB级数据秒级检索;n可灵活线性扩展,保护现有投资;高性能,大容量,弹性扩展快速事件分析和响应n采用SparkStreaming流式处理,日志实时采集、入库、分析、告警;n从数据采集到分析取证和告警在1分钟内完成;2222瀚思大数据智能SOC平台内置规则检测引擎、机器学习引擎、威胁情报分析引擎、图形计算引擎、用户行为分析引擎大引擎来检测和发现网络中存在的大类多种外部攻击行为和内部违规行为,其准确高达以上,是IDS等检测设备准确的倍以上。智能安全分析规则检测机器学习威胁情报图形计算用户行为分析2323多维度态势感知2424安全智能(SI)2525实施SOC收益有效地降低企业安全威胁n从海量汇总信息中屏蔽大量无用信息,及时告警重要的安全事件n内置丰富的告警分析策略和威胁情报来源,及时准确地发现海量日志信息中的已知威胁n消除各安全系统孤立情况,报警信息相互关联,分析挖掘潜在的安全威胁显著地提高安全运维效率n支持安全设备、网络设备、操作系统、数据库、业务系统等各类软硬件产品,全面地监测企业安全态势状况,有效降低安全事件威胁影响n简单直观友好的图形化界面展示,便于快速发现、分析、响应、处置安全问题,节省时间成本n实现安全技术和安全管理有机结合实现统一指挥调度更好地满足合规审计要求n支持海量日志的快速查询和存储,满足企业自身日志审计需求和国家对企业日志存储的合规要求n内置的丰富的报表模板,快速生产国家合规报表和企业自身要求报表,充分满足上级检查和企业自查的需求2626单机部署方式n数据采集、存储和分析集中到一台服务器n适用范围:网络结构简单且数据量小的用户平台服务器2727集群集中式部署方式n将管理服务、存储和分析集群、采集器集群分别单独部署n适用范围:中小企业网络、数据相对集中的网络结构ES集群采集集群管理配置服务器2828分级分布式部署方式n集中管理:总结点汇聚所有下级节点数据集中分析和处置;n分级部署:就近采集、就近分析和就近存储,节省带宽资源n采集器分布式部署:减少网络风险点n适用范围:网络结构复杂、跨区域、分级管理的大型企业和政府单位;ES集群采集器集群管理配置服务器采集器采集器采集器ES集群采集器集群管理配置服务器29HansightEnterprise 3.0HansightEnterprise 4.0瀚思4.0的规划n流量分析n用户行为分析n威胁情报分析n关联分析n自定义工作台n安全可视化n合规报表n深度学习nAPT检测n调查取证n自动响应(工单、防火墙、AD)n集成能力(漏扫、基线)3030国内外SOC/SIEM的比较31国内外SOC矩阵SOC2.0国外厂家SOC3.0国内厂家启明星辰瀚思安信天融信神州泰岳IBM-QardarHP-ArcSightMcAfeeEMC-RSASplunkLogRhythm东软36032产品分类传统SOC下一代SOC产品名称QradarArcSightUSMSplunkEnterpriseNGSOCHanSightEnterprise企业名称IBMHP启明星辰Splunk360瀚思安信市场影响力2015年Garter排名第