第6.3.1节全网安全感知解决方案——构建安全大脑,让安全可感知、易运营01客户为什么需要安全感知能力CONTENT02如何为客户构建安全大脑03最佳实践客户为什么需要安全感知能力01“谁进来了不知道、是敌是友不知道、干了什么不知道”,长期“潜伏”在里面,一旦有事就发作了419讲话---习主席2016.4全天候全方位感知网络安全态势。加强网络安全态势感知、监测预警和应急处置能力建设《“十三五”国家信息化规划》2016.12使得网络安全有法可依,各行业更加重视网络安全建设网络安全法开始实施2017.6对网络行为、潜伏未知威胁进行持续检测和分析等保2.0标准即将发布背景介绍2017年5月,WannaCry勒索病毒全球大爆发,至少150个国家、30万名用户中招,造成损失达80亿美元,已经影响到金融,能源,医疗等众多行业,造成严重的危机管理问题WannaCry传统安全体系的挑战之一:看不见国内多个互联网公司数据泄露就在2017年上半年,国内多个互联网企业的用户隐私信息遭到泄露,甚至是售卖,影响恶劣。根因:以防御为核心的安全体系无法应对各类高级攻击(APT攻击、钓鱼邮件等)缺乏对突破防御并进入网络内部的潜伏威胁的持续检测能力传统安全体系的挑战之二:看不懂根因:各类安全日志数量大、分散,且异构,看不过来、看不懂客户平均每天生成安全告警日志多达上万条各类安全日志分散在各种安全设备上安全日志以安全事件角度展示传统安全体系的挑战之三:响应慢防火墙IPSIDS下一代防火墙数据库审计WAFVPN根因:安全人才数量少,难培养,不能多精;UTM上网行为管理防毒墙邮件网关身份认证安全审计漏扫抗DDOS安全产品众多人力运维难度大如何应对?数据中心广域网局域网行为分析、机器学习UEBA、专家辅助潜伏威胁探针下一代防火墙主机EDR潜伏威胁探针下一代防火墙运维处置可视化领导决策可视化我现在安全吗?哪里不安全?造成了什么危害?我该如何处置?安全大脑构建一个可感知、易运营的安全大脑外部威胁情报可感知:有对高级攻击、潜伏威胁的发现能力易运营:能看得懂安全,能快速处置威胁安全大脑的核心能力海量数据采集能力以全流量数据采集为主以各类设备日志收集为辅精准检测能力机器学习算法检测UEBA检测横向威胁检测全局可视能力宏观可视辅助决策微观可视辅助运维协同响应能力多设备协同联动一键封堵、一键查杀深信服安全大脑模型深信服安全大脑“全网安全感知”威胁潜伏探针STA安全感知平台······深信服安全大脑模型安全感知平台(SIP)(默认标配):负责收集汇总探针采集的全流量信息,及接入的NGAF、EDR等各类安全组件日志,通过关联分析、行为分析、机器学习等智能分析技术,发现网络的脆弱性、潜伏威胁,并简单易懂的展示出来。潜伏威胁探针(STA)(默认标配):旁路部署在关键节点,对全流量进行检测,提取有效数据上报给SIP。下一代防火墙(NGAF)(可选):网关部署在出口或边界,一方面负责安全防御,另一方面对全流量进行检测,提取有效安全数据上报给SIP。其他可对接的安全组件端点安全(EDR):插件形式部署在终端或虚拟化服务器的操作系统上,负责采集服务器安全数据上报给SIP,同时对僵木蠕毒进行扫描和查杀。同时SIP可主动联动EDR进行主机隔离、网络隔离,在威胁发生后避免扩散。上网行为管理(AC):旁路/网桥部署在出口,一方面实现上网行为管理功能,一方面与SIP对接,实现用户身份的识别。虚拟安全(VSS):Vmware场景下,VSS对东西向流量进行分析,将有效数据同步给SIP平台。云眼:对外发布业务的在线监测和防护,与平台对接。后续可将网站安全信息同步给SIP平台。第三方安全设备:支持第三方安全设备日志导入,作为溯源分析、统一管理的分析依据。威胁情报(默认标配):深信服云端威胁情报系统与SIP对接,实时下发情报数据给SIP,增加威胁识别效率和概率。深信服安全大脑模型安全感知平台(SIP)(默认标配):负责收集汇总探针采集的全流量信息,及接入的NGAF、EDR等各类安全组件日志,通过关联分析、行为分析、机器学习等智能分析技术,发现网络的脆弱性、潜伏威胁,并简单易懂的展示出来。潜伏威胁探针(STA)(默认标配):旁路部署在关键节点,对全流量进行检测,提取有效数据上报给SIP。下一代防火墙(NGAF)(可选):网关部署在出口或边界,一方面负责安全防御,另一方面对全流量进行检测,提取有效安全数据上报给SIP。其他可对接的安全组件端点安全(EDR):插件形式部署在终端或虚拟化服务器的操作系统上,负责采集服务器安全数据上报给SIP,同时对僵木蠕毒进行扫描和查杀。同时SIP可主动联动EDR进行主机隔离、网络隔离,在威胁发生后避免扩散。上网行为管理(AC):旁路/网桥部署在出口,一方面实现上网行为管理功能,一方面与SIP对接,实现用户身份的识别。虚拟安全(VSS):Vmware场景下,VSS对东西向流量进行分析,将有效数据同步给SIP平台。云眼:对外发布业务的在线监测和防护,与平台对接。后续可将网站安全信息同步给SIP平台。第三方安全设备:支持第三方安全设备日志导入,作为溯源分析、统一管理的分析依据。威胁情报(默认标配):深信服云端威胁情报系统与SIP对接,实时下发情报数据给SIP,增加威胁识别效率和概率。如何为客户构建一个“安全大脑”02部署架构internet云沙盒威胁情报云眼云盾在线专家快速响应云脑分支分支互联网接入区核心层办公区传统数据中心区虚拟化中心区VSSEDR本地安全大脑技术架构检测算法业务识别全流量检测UEBA关联分析行为分析机器学习大数据资产识别用户识别业务分类脆弱性检测访问关系检测&分析处置&响应整体安全态势业务安全风险Killchain趋势异常行为画像横向威胁分析安全失陷举证业务访问关系交付&可视构建准确的检测模型为业务决策服务的可视化防御设备检测设备流量探针威胁情报云端沙箱终端安全软件来源&提取提取有效数据来源协同联动+人工服务NGAF联动封堵EDR联动查杀上网行为管理联动提醒安全专家人工服务分离平面设计多核并行处理单次解析架构跳跃式扫描技术流量记录报文检测引擎SangforRegex正则引擎威胁潜伏探针STA安全大脑的核心能力精准检测能力机器学习算法检测UEBA检测横向威胁检测全局可视能力宏观可视辅助决策微观可视辅助运维协同响应能力多设备协同联动一键封堵、一键查杀最新国内外威胁情报联盟成员:virustotal、CNVD、CNNVD等基于客户网络态势推送精准可落地的威胁情报③威胁情报、辅助检测在内部关键节点部署探针,主动提取信息联动边界、终端自有产品,无缝对接,主动提取①自主全流量数据分析为主基于标准格式收集第三方日志收集基于业务、资产、用户、应用等维度的主动信息提取全量检测主动提取②第三方设备广泛收集海量数据采集能力检测的基础:首先,部署方式决定了多点探针采集能够看到比边界AF更多的信息和数据(东西向流量、原始数据包),为后续分析提供弹药;其次,分析平台可以从时间和空间两个维度关联分析,时间指可以关联分析过去数分钟、小时甚至数天的数据发现攻击者,而AF不可以因为数据包不能压着不转发;空间维度是指SIP平台可以搜集多个AF、探针、EDR的数据,多维度多角度分析问题。检测的思路现状:传统检测设备更多的是通过特征库匹配发现问题的,即通过各种手段定义了什么的“坏的”、“不好的”,那么除此之外的就是正常的业务;问题:“坏的”可以穷举吗?(保安能记住所有的通缉犯?),换一个思路,我们不仅可以记住“坏的”,也可以记住“好的”、“合法的”,不同于合法对象就是可疑和需进一步关注的对象(例如门卫认识办公室所有的人,不认识的可能是坏人),但白名单有时候也很难抽取;结论:不单纯依赖于黑、白单线判断,按需选择or两个维度综合判断。Keyword:黑名单--黑白名单SIP精准检测能力—基础检测能力异常会话检测Web应用安全检测敏感数据泄密检测······检测的手段:特征检测:特征是基本的检测手段,但如果只机械记录特征(如文件的md5),就很容易被对手简单的改变蒙混过关(病毒变种),那么就需要考虑抽取更加稳定和共性的特征,例如僵尸网络的动态域名虽然变化多样,但还是具备其规律性的(即特征的鲁棒性);行为检测:有时候攻击者的手段灵活到已经难以总结出攻击代码、传输文件和网络数据包的特征,但任何觊觎不该获取信息的行为,只要目的不同于合法用户,那么其行为必然会和合法用户有某种程度的区别。Keyword:动态特征&UEBA机器学习、深度学习、数据挖掘如何抽取更加共性的特征?如何建立正常用户或者攻击者的画像模型?SIP精准检测能力—基础检测能力动态特征问题:攻击者越来越懂得隐蔽自己,例如每一个病毒的变种特征都不相同、僵尸网络外联的域名动态生成,很难通过预置特征库和域名库匹配发现了对策:自动生成的东西是否有共性特征呢?是否可以通过计算机分析形成一个模糊的特征,再进行特征匹配呢?恶意软件的通讯URL每次都不相同,特征库无法穷举,AF也写不下但是这些“随机”的通讯是否有共性的特征呢?SIP精准检测能力—深度检测能力用户与实体行为分析(UEBA)首先,收集网络多个节点产生的信息,进而创建一条基线以确定各种不同情况下的正常状态是什么;其次,基准线建立,UEBA解决方案会跟进聚合数据,寻找被认为是非正常的模式;优势:UEBA解决的,更多的是异常行为而非一般的攻击事件,特别是对于隐蔽的内部攻击和控制内部资产的跳板攻击效果理想。SIP精准检测能力—深度检测能力创新引入机器学习、大数据技术提高检测率SIP精准检测能力—深度检测能力攻防专家数据科学家攻防对抗人工智能大数据分析HTTPFlow分析引擎NETFlow分析引擎DNSFlow分析引擎SMBFlow分析引擎SMTPFlow分析引擎xxx分析引擎LSTM较N-gram有显著提升在“能否检测出僵尸网络”问题上达到99.7%的F值(精确率和检出率的综合指标)在“检测出具体是哪一种僵尸网络”问题上达到了平均90.3%的F值。安全分析师监督Supervised机器学习方式:提前知道哪些数据是好的哪些是坏的,通过已有数据找规律,作为后续判断依据历史数据最初模型好坏结果最终模型调整特征feature,标签label,权重parameter生产数据好坏结果结果预设,只作分类精准检测能力—深度检测能力创新引入机器学习、大数据技术提高检测率非监督Unsupervised机器学习方式:并不知道已有数据的好坏,但基于朴素的好人坏人目标、行为、结果不同,进行总结分类进而区分好坏历史数据最初模型聚类结果最终模型调整特征feature,权重parameter生产数据聚类结果需根据生产数据重新分析结果精准检测能力—深度检测能力创新引入机器学习、大数据技术提高检测率算法举例:分类算法classification主要算法:决策树,ID3主要思路:寻找负向样本序列主要应用:图像识别,DGA,SPAM,病毒变种二类分类多类分类精准检测能力基础—机器学习算法举例:深度学习DeepLearning主要算法:卷积神经网络(CNN)循环神经网络(LSTM)主要思路:多个结点像大脑神经元一样结合分析主要应用:图像识别,DGA,SPAM,病毒变种目标数字是1-9及0的概率,机器学习的输出总是概率精准检测能力基础—机器学习算法举例:异常检测算法abnormal主要算法:iForest,one-classSVM,SH-ESD主要思路:寻找离群点主要应用:web攻击变种,0daywebshell,隐秘通道,欺诈交易精准检测能力基础—机器学习算法举例:聚类算法clustering主要算法:K-means,DBSCAN主要思路:群体行为的规律性主要应用:内鬼,账号入侵,内网系统的数据泄露精准检测能力基础—机器学习01:Web访问异常行为检测异常潜伏威胁探针行为:时间频率访问参数跳转页面。。。iForest算法正常0-daywebshell定向开发的webshell,并以反弹端口的