基于元数据和安全事件的大数据分析

18961920198720062013年12月28日基于元数据和安全事件的大数据分析上海交通大学网络信息中心姜开达个人介绍1997~2001~2013(16years)上海交通大学网络信息中心工作经历:学生宿舍网络建设与管理大中小网络运行与维护信息系统建设与管理近五年主要专注于网络信息安全领域一MetaData的获取二大数据分析平台三安全事件关联分析四未来研究方向主要内容安全的颗粒度NetFlow/sFlow报文采样DDOS/PortScan/异常流量发现深度数据包检测（DPI）基于已知签名的识别，对加密流量作用有限元数据（MetaData）介于两者之间http/smtp/pop3/ftp/dns/telnet……美国情报收集系统X-Keyscore可针对邮件、网站内容等执行强大的查询提供实时的目标活动信息所有未过滤的数据可在缓冲区存3天存储所监控网站的完整数据，为元数据建立索引安全事件历史回溯Flow采样分析太粗，丢失信息较多基于五元组等信息完整数据包长期存储，代价巨大1G/10G/100GMission:Impossible依靠长期历史元数据是现实的选择在线分析漏过了，不能再错过离线处理MetaData的生成基于网络流量，生成需要的格式吐出nfdump介绍Thenfdumptoolscollectandprocessnetflowdataonthecommandline.Webinterface介绍CoralReefisacomprehensivesoftwaresuitedevelopedbyCAIDAtocollectandanalyzedatafrompassiveInternettrafficmonitors,inrealtimeorfromtracefiles.CoralReefsupportsmonitoringofanystandardnetworkinterface(vialibpcap)onunix-likesystems,aswellasspecializedhighperformanceATM,POS,andEthernetdevicesatuptoOC192and10GigEbandwidthsonIntel-basedworkstationsrunningFreeBSDorLinux.Justniffer介绍NetworkTCPPacketSnifferReliableTCPFlowRebuildingOptimizedforRequest/Responseprotocols.CanrebuildandsaveHTTPcontentonfilesHTTPMetaData示例1．GET类型Time|G|Host|URI|||Referer|SrcIP|SrcPort|DstIP|DstPort|User-Agent2013-08-2511:01:02|G|news.sjtu.edu.cn|/images/index1_1.jpg||||111.180.72.x|31869|202.120.2.102|80|Mozilla/4.0(compatible;MSIE7.0)2．POST等其他类型Time|P|Host|URI|Type|Size|Referer|SrcIP|SrcPort|DstIP|DstPort|User-Agent2013-08-2511:01:29|P|welcome.sjtu.edu.cn|/jdyx/memeber/login.php?action=checkandlogin|application/x-|38||110.179.29.x|26605|202.120.63.4|80|Mozilla/5.0(compatible;MSIE7.0)3．服务器返回类型Time|HTTPCode|||Type|Size||SrcIP|SrcPort|DstIP|DstPort|2013-08-2511:03:06|404|||text/html|168||220.120.2.102|80|202.119.208.93|8189|HTTPMetaData存储以上海交通大学校园网为例2013.12.25访问校内近千网站的原始HTTP元数据量为18.1GBytes，78,962,897条记录存储校内网站一年的元数据量不超过5TBytes但是记录条数在数百亿量级目前可以实现单机每日20亿量级的元数据生成Hadoop系统硬件概况共24结点•2个管理结点，一个作业提交结点，21个存储计算节点CPU•IntelXeon(R)CPUE5-2670@2.60GHz，双CPU，开HT后32核Memory•8×8=64GBDisk•240GB(SSD)×2+2TB(SATA)×12Network•Intel82599万兆网HDFS总容量•333TB/3(replication=3)三个机柜24台服务器Hadoop系统软件概况使用Hadoop版本•ClouderaStandard4.8.0组件•CDH4.5.0+IMPALA1.2.1+SOLR1.1.0）特点•易部署（网页批量部署）•性能良好（TestDFSIO：10*10GB文件写142MB/s，10*10GB文件读801MB/s）•监控信息全面提供对每台主机及整个集群的监控信息•维护方便ClouderaManager图形化界面TheopensourceApacheHadoopUI(图形化用户界面)提供Hadoop各种组件的WebUI操作Hive查询的UI,查看作业进度、下载作业结果类SQL工具——HiveHive简介•基于Hadoop的一个数据仓库工具•把SQL语句转化为MapRedece任务运行•元数据存储在数据库，数据存储在HDFS中使用Hive的优势•数据互通，简单的LOAD命令导入、查询结果可以用保存为cvs或者Excel格式•学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计•基于HDFS的可扩展性•可通过压缩、分区列建立索引优化Cloudera其他组件介绍全文索引——ClouderaSearch•核心：Hadoop+Solr•可实现对HDFS中数据进行全文索引•查询时间1~2s/TB的索引/1台服务器（目前还在测试）实时查询开源软件——ClouderaImpala•Impala与其他组件关系•Impala(SQLonHDFS)VSHive(SQLonMapReduce)这些组件在后续的数据分析工作中很有用处大数据分析应用安全漏洞快速影响评估安全事件综合分析，历史回溯漏洞挖掘和0Day早期预警ApacheStruts2发现select*fromsjtu_inwhereurllike'%.action?%'orurllike'%.do?%'查询性能分析19个计算节点，未做分区列等优化2分42秒查询完56亿条原始记录PHP-DOS发现select*fromsjtu_inwhereurllike'%host=%'andurllike'%port=%'部分WebShell发现黑名单，特殊Path，特殊URL，特殊文件名，POST频率ZimbraMail-0dayexploitThisscriptexploitsaLocalFileInclusionin/res/I18nMsg,AjxMsg,ZMsg,ZmMsg,AjxKeys,ZmKeys,ZdMsg,Ajx%20TemplateMsg.js.zgzwhichallowsustoseelocalconfig.xmlthatcontainsLDAProotcredentialswichallowustomakerequestsin/service/admin/soapAPIwiththestolenLDAPcredentialstocreateuserwithadministrationprivlegiesandgainaccestotheAdministrationConsole.LFIislocatedat:/res/I18nMsg,AjxMsg,ZMsg,ZmMsg,AjxKeys,ZmKeys,ZdMsg,Ajx%20TemplateMsg.js.zgz?v=091214175450&skin=../../../../../../../../../opt/zimbra/conf/localconfig.xml%00Example:=091214175450&skin=../../../../../../../../../opt/zimbra/conf/localconfig.xml%00Zimbra漏洞影响范围12月6日，exploit-db.com网站披露了攻击代码。根据国家互联网应急中心（CNCERT）和上海交通大学网络信息中心的监测情况，从12月6日下午开始，出现了大量利用该漏洞对境内政府和高校用户发起的攻击。CNVD对互联网上使用Zimbra的邮件服务器进行了检测。截至12月13日9时，共检测发现互联网上有1814个IP主机为Zimbra邮件服务器，详细统计见下表所示。此外，根据抽样测试结果，约有50.0%的Zimbra邮件服务器存在所述高危漏洞。HTTP关联分析Referer分析Referer暴露搜索引擎关键词=%C9%CF%BA%A3%B9%FA%BC%CA%B8%BE%D3%A4%B1%A3%BD%A1%D4%BA&rsv_bp=0&rsv_spt=3&rsv_sug3=9&rsv_sug1=9&rsv_sug4=575&oq=%C9%CF%BA%A3%B9%FA%BC%CA%B8%BE%D3%A4&rsp=0&f=3&rsv_sug2=1&inputT=8751=%E6%9E%97%E5%AE%97%E5%88%A9&pn=5&j=0&_re=0=t&rct=j&q=world+university+rankings&source=web&cd=6&ved=0CEcQFjAF&url=http%3A%2F%2F=zluEUP7TNomnhAf_mYGQCQ&usg=AFQjCNHUhmS82v9GFC7ruy03eVrRYQFEkQ=dominus%20winery%20plan&ie=utf-8&from=360&FORM=WENY01&mkt=zh-CN搜索引擎关键词来源分析01000020000300004000050000600007000080000900008.288.298.308.319.19.29.39.49.59.69.79.89.99.19.119.129.139.149.15每日搜索总次数每日不同关键词ApacheStruts2漏洞搜索关键词inurl:index.actioninurl:(.action)site: