云数据处理-大数据引发的变革与企业面临的挑战

1云数据处理大数据引发的变革与企业面临的挑战陈育杰EricChenSYSEX精诚集团BigData事业资深总监[e-mail],mobile:[phone]大数据(BigData)时代来临Structured•Database•Spreadsheet•FileinrecordformatSemi-structured•XMLDocs•Logs•Click-stream•Equipment/Device,RFIDtagUnstructured•WebPages•E-mail•Multimedia•InstantMessages•Documents移动互联网MobileInternet物联网InternetofThings2新量级、新处理模式、新企业智能BigData要解决的问题StreamsRealtimeNeartimeBatchTBPBEBStructuredUnstructuredSemi-structuredAlltheaboveVolumeVarietyVelocity3VsofBigData什么是半结构化/非结构化数据4SocialMediaMachine/SensorDOC/MediaWebClickstreamAppsCallLogLogBigData带来的挑战不同“看”数据的方式需要更高性价比的数据计算与储存方式不同的数据管理策略超越企业现有IT的数据解决能量5不同“看”数据的方式6可视：结构化资料15%未视：半/非结构化数据85%DB/DW主管们看的战情数位仪表板，其实是残缺的…10万GB10万TB需要更高性价比的数据计算与储存方式7数据库数据仓库计算更快存储更省85%半/非结构化的Log/Webpage/Email/PDF/Image/Full-text/MS-Officefile8不同的数据管理策略当我们想要扩充时，才发觉：•架构只能scale-up，scale-out不易•处理时间过长，time-to-value受限•成本过高，cost-efficiency受限15%结构化的DB/DW遗憾残缺每天几百GB、几TB的资料，且持续成长中储存Storing在收数据的同时做必要的前置处理(pre-processing)，并区分数据处理的优先等级(prioritizing)计算Processing如何有效的避免因硬件毁坏所导致的资料损毁管理Managing如何从中挖掘出所关注事件的pattern或behavior分析Analyzing超越企业现有IT的数据解决能量9精诚集团BigData事业10精诚集团提供BigData解决方案的独立品牌在台北与北京设有研发与专业服务团队我们关注的不只是技术，更在意挖掘BigData对企业的商业价值透过软硬件一体的整合，大幅「简化」与「优化」企业处理BigData的种种问题Appliance大数据一体机大数据处理的平台解决方案AnUniversalBigDataProcessingSolution企业的资料云硬件与软件一体储存与运算合一BigData运算与储存，单一架构解决什么是大数据处理(BigDataProcessing)WordcountHarryPorter(哈利波特)432,442LordVoldemort(佛地魔)134,209Dumbledore(鄧不利多)72,982SeverusSnape(石內圤)28,252.......................................……...……………………….....……..•=PLANTS&JSESSIONID=S1FF9ADFF2•=s9_simh_gw_p14_d0_g74_i5?pf_rd_m=ATVPDKIKX0DER&pf_rd_s=center-2&pf_rd_r=1YN4ES7ZEV17ZRKA858X&pf_rd_t=101&pf_rd_p=4631&pf_rd_i=507846•=CN10816425•=CN10759096•:1.5TB/dayHitcountabc.com812,490,299amazon.com232,934,490yahoo.com198,283,002cnn.com57,922,190.............................……………………………...…………HitCountWordCount什么是大数据处理(BigDataProcessing)•=PLANTS&JSESSIONID=S1FF9ADFF2•=s9_simh_gw_p14_d0_g74_i5?pf_rd_m=ATVPDKIKX0DER&pf_rd_s=center-2&pf_rd_r=1YN4ES7ZEV17ZRKA858X&pf_rd_t=101&pf_rd_p=4631&pf_rd_i=507846•=CN10816425•=CN10759096••=purchase&itemId=EST-13&JSESSIONID=SD7SL1FF9ADFF••=index&f=view&p=24hour&s=nlife•=store&func=style_show&SR_NO=DEAO45abc.com/category.screenmystore.splunk.com/flower_store/…………………………177.23.21.50--[15/Nov/2011:00:07:45]GET/flower_store/product.screen?product_id=FL-10=PLANTS&JSESSIONID=SD7SL1FF9ADFF2Mozilla/5.0(X11;U;Linuxi686;en-US;rv:1.8.0.10)Gecko/20070223CentOS/1.5.0.10-0.1.el4.centosFirefox/1.5.0.1016041667233.77.49.54--[15/Nov/2011:00:07:58]GET/flower_store/product.screen?product_id=K9-BD-01HTTP/1.1=FLOWERS&JSESSIONID=SD7SL1FF9ADFF2Mozilla/5.0(X11;U;Linuxi686;en-US;rv:1.8.0.10)Gecko/20070223CentOS/1.5.0.10-0.1.el4.centosFirefox/1.5.0.1018032431i10.32.1.37--[15/Nov/2011:00:08:26]GET/flower_store/product.screen?product_id=FL-DSH-01HTTP/1=FLOWERS&JSESSIONID=SD7SL1FF9ADFF2Mozilla/5.0(X11;U;Linuxi686;en-US;rv:1.8.0.10)Gecko/20070223CentOS/1.5.0.10-0.1.el4.centosFirefox/1.5.0.1010254463192.168.11.38-IPActionTimeServerURL###……….………..……………….……..…….……….………..……………….……..…….3rdpartypre-definedReportingFilterStringTruncationLogfile:1.5TB/day什么是大数据处理(BigDataProcessing)RDR_SEND_TIMERDR_TAGSUBSCRIBER_IDPACKAGE_IDSERVICE_IDPROTOCOL_IDSKIPPED_SESSIONSSERVER_IPSERVER_PORTACCESS_STRINGINFO_STRINGCLIENT_IPCLIENT_PORTINITIATING_SIDEREPORT_TIMEMILLISEC_DURATIONPROTOCOL_SIGNATURZONE_IDFLAVOR_IDStartdateStarttimeSessiontypeSourceIPSourcePortNATIPNATPortDestIPDestPortProtocalOutputIDStarttimeEndtimeSourceIPSourcePortDestIPDestPortProtocalUpstreamDownstreamURLJoin1.1TBper-day600GBper-day什么是大数据处理(BigDataProcessing)SequenceDe-Normalize177.23.21.50--[15/Nov/2011:00:07:45]GET/flower_store/product.screen?product_id=FL-10=PLANTS&JSESSIONID=SD7SL1FF9ADFF2Mozilla/5.0(X11;U;Linuxi686;en-US;rv:1.8.0.10)Gecko/20070223CentOS/1.5.0.10-0.1.el4.centosFirefox/1.5.0.1016041667233.77.49.54--[15/Nov/2011:00:07:58]GE