安全威胁情报与基础数据

威胁情报&基础数据•什么是安全?•安全等于密码?•安全等于防⽕火墙|ids|scanner?•现状-安全等于合规?•现状-安全等于漏洞?•about“漏洞”••攻击不会消亡攻守双⽅方资源的较量••新的攻击点和攻击⽅方式不断出现漏洞数量和上线资源总数恐怕会维持稳定⽐比例•好吧,安全⼀一定等于威胁情报•••Splunk:thethreatintelligencecompanyIBM:intelligenceisthenewdefenseNorse:Norsemaintainstheworld’slargestdedicatedthreatintelligencenetwork••安全不是任何⼀一种具体技术安全是能⼒力••oneofthem:”看⻅见”的能⼒力(SecurityVisibility)严重缺失•看⻅见的能⼒力?•NSA⼊入侵华为•••••⾏行动代号：shotgiant：1)⼊入侵了华为深圳总部的⻅⽹网络2）拷⻅贝了⼤大量内部⽂文档和客户名单3)获取了⼤大量邮件，包括任正⾮非和孙亚芳的邮件4)获取了产品的源代码•来⾃自华为的技术⼈人员回应•呵呵，没那么严重，当时就被发现了，防⿊黑是华为IT的核⼼心能⼒力之⼀一•来⾃自NSA•Wecurrentlyhavegoodaccessandsomuchdatathatwedon'tknowwhattodowithit•最有意思的就是:某种意义上NSA华为围绕看到能⼒力的对抗••NSA的终极诉求之⼀一:看到的能⼒力华为浑然不觉:缺乏看到的能⼒力•RSA2015keynote••=op-2Aj6Wizo&feature=youtu.beSincethebeginningoftime，humanityhasbeenafraidofthedark.Andwithgoodreason.Wefearthedarkbecauseevolutionhashard-wiredustobesuspiciousofit，ormorespecifically，suspiciousofthepotentialthreatsthatmayawaitusinthedarkness.Wecanhearnoisesandseeshadows，butwithoutbeingabletoseeoursurroundings，wedon’tknowifthosesoundsandshadowsrepresentdangerornot，letalonehowtorespond.•越来越多的国外公司开始讲这个了•你会注意国内也开始讲”看⻅见”了••可视化?no,不是⼀一回事态势感知?no,不是⼀一回事•securityvisibility现状•⼀一⽅方⾯面数据太多•多的看不过来数据太多•RSA•5k员⼯工,25G/24h,2条•McAfee:10万malware/天2012Q1，2012Q3100million•实际情况•花⼀一定时间和精⼒力在垃圾堆⾥里翻⼀一会••0.0001%?然后…就放弃了•另⼀一⽅方⾯面数据太少•需要的”那⼀一条”数据⼀一般都是没有的••13年3-4⽉月Twitter,Apple,Facebook,Microsoft⼊入侵：最新的AV，FW，patch⼀一堆没有产⽣生有效告警数据15年卡巴斯基Duqu2.0猎⼈人被捕猎•⽤用户感受•⽂文档特⽜牛,但是没有实践•你再敢说⼀一次关联分析|钻取|建模试试?•在某种意义上,我们的现状是这样的•怎么逮到那只⼤大象?•威胁情报作为看到能⼒力的⼀一个”新”⼿手段,突然变成救命稻草了威胁情报•Gartner2013•••Evidence-basedknowledge，includingcontext，mechanisms，indicators，implicationsandactionableadviceaboutanexistingemergingmenaceorhazardtoassetsthatcanbeusedtoinformdecisionsregardingthesubject’sresponsetothatmenaceorhazard.actionableinfo国内有⼀一种说法是”完整的actionable信息”•然⽽而我们不认同•对⽐比传统情报领域•••knownknownsknownunknownunknownunknown•••直接谈威胁情报是空中楼阁必须先有基础数据基础数据严重缺乏•我们团队是做基础数据,不是威胁情报的•威胁情报(TI)的现状•可视化=TI!•两个分⽀支••1:Norse流2:美图数据秀秀•norse的主要问题•••⼏几乎⽆无法提供任何有意义,有价值的信息外⾏行看热闹内⾏行也看热闹!•norse•overeightmillionsensorsthatemulateoversixthousandapplications•42亿地址中,路由表中约37亿••norse占了2.1%google地址数•使⽤用场景局限•••有限防控存在⼤大规模扫描⾏行为的主机系统等对稍微深⼊入的攻击⾏行为难以提供缺失的数据⽀支撑APT等天然的lowprofile的攻击更不⽤用提了••美图数据秀秀垃圾信息转换了⼀一种⽅方式展⽰示罢了这个国内挺热••以soc平台为先不弄个图都不好意思跟⼈人打招呼了•全国⼭山河⼀一⽚片红•模式2•将⼤大量公开和⾮非公开⿊黑数据源进⾏行收集，整理后统⼀一格式提供情报的企业=threatintelligence••家知名数据提供商数据仅有1%的重合•我们⾃自⼰己的测试~50万数据•set1•我们⾃自⼰己的测试~50万数据•set2•我们⾃自⼰己的测试~50万数据•set3•隐藏问题:地域性•模式3•独⽴立的盒⼦子&TI••低纬度的点对抗⾼高纬度的⾯面视⾓角狭窄•rsa,blackhat都有⼚厂商砸盒⼦子•模式4•⼀一些⼿手⾥里有⼤大量数据的公司，虽然有数据，不会⽤用⼿手⾥里的数据，往往把⾃自⼰己淹没在细节中⽆无法⾃自拔，这个时候海量的数据反⽽而成为⾃自⼰己的负担•7层全流量镜像•样本同样问题•⽆无法connectthedots•那么360是怎么看基础数据|威胁情报的?•数据的两个应⽤用⽅方向两个分⽀支••1：基于⼤大量已有数据加机器学习之上的⼤大规模分析和预测，⺫⽬目标是快速实时的收割所谓lowhangingfruit的确定性数据，为⽤用户提供浅层但是实时的数据。2：基于⼤大量数据加专家团队的深层次情报分析应⽤用，这⾥里⾯面threatintelligence可能起到的作⽤用更多的是提供有限但是关键的线索，然后依靠专家团队来拼出完整的故事。举个实际的基础数据例⼦子?•很多种•这⾥里仅介绍dns相关的基础数据•先看两个⽂文档和⼀一个blog•⽂文档1•⽂文档2FacebookFeb-2013APT••weflaggedasuspiciousdomaininourcorporateDNSlogsandtrackeditbacktoanemployeelaptop.Uponconductingaforensicexaminationofthatlaptop,weidentifiedamaliciousfile,andthensearchedcompany-wideandflaggedseveralothercompromisedemployeelaptops.Afteranalyzingthecompromisedwebsitewheretheattackoriginated,wefounditwasusingazero-day(previouslyunseen)exploittobypasstheJavasandbox(built-inprotections)toinstallthemalware()••dns…听起来有点有⽤用但是细想好像应⽤用场景有限?•passivedns技术•李若彤•国务院参事院⻅⽹网站被⿊黑nn.cosc.gov.cn•我去...不公平...•数据的威⼒力•关于谁最nb,谁⽤用户多的问题•关于实时观测bat发展⽤用户的例⼦子•甚⾄至可以有各种笨办法••⽐比如跟踪⻅⽹网段新加的域名就可以了...等等:⻅⽹网段怎么来?•⽤用法基本局限于你的想象⼒力•DWA•通过域名结构,解析返回结果,相似度分组和其他⼏几个条件产出的⾃自动化数据•实例•聚类•按照⼀一些组合条件进⾏行多⽅方位聚类•也可以是复杂的•聚类应⽤用•moreFromISCJohn’sdeck••能玩的太多越玩发现我们knownothing!••⽼老⿏鼠掉进⽆无边⽆无际的粮仓⾥里欢迎数据控加⼊入⼀一起来玩