火龙果软件-大数据引发的变革与企业面临的挑战

火龙果整理uml.org.cn1云数据处理大数据引发的变革与企业面临的挑战火龙果整理uml.org.cn大数据(BigData)时代来临Structured•Database•Spreadsheet•FileinrecordformatSemi-structured•XMLDocs•Logs•Click-stream•Equipment/Device,RFIDtagUnstructured•WebPages•E-mail•Multimedia•InstantMessages•Documents移动互联网MobileInternet物联网InternetofThings2新量级、新处理模式、新企业智能火龙果整理uml.org.cnBigData要解决的问题StreamsRealtimeNeartimeBatchTBPBEBStructuredUnstructuredSemi-structuredAlltheaboveVolumeVarietyVelocity3VsofBigData火龙果整理uml.org.cn什么是半结构化/非结构化数据4SocialMediaMachine/SensorDOC/MediaWebClickstreamAppsCallLogLog火龙果整理uml.org.cnBigData带来的挑战不同“看”数据的方式需要更高性价比的数据计算与储存方式不同的数据管理策略超越企业现有IT的数据解决能量5火龙果整理uml.org.cn不同“看”数据的方式6可视：结构化资料15%未视：半/非结构化数据85%DB/DW主管们看的战情数位仪表板，其实是残缺的…火龙果整理uml.org.cn10万GB10万TB需要更高性价比的数据计算与储存方式7数据库数据仓库计算更快存储更省火龙果整理uml.org.cn85%半/非结构化的Log/Webpage/Email/PDF/Image/Full-text/MS-Officefile8不同的数据管理策略当我们想要扩充时，才发觉：•架构只能scale-up，scale-out不易•处理时间过长，time-to-value受限•成本过高，cost-efficiency受限15%结构化的DB/DW遗憾残缺火龙果整理uml.org.cn每天几百GB、几TB的资料，且持续成长中储存Storing在收数据的同时做必要的前置处理(pre-processing)，并区分数据处理的优先等级(prioritizing)计算Processing如何有效的避免因硬件毁坏所导致的资料损毁管理Managing如何从中挖掘出所关注事件的pattern或behavior分析Analyzing超越企业现有IT的数据解决能量9火龙果整理uml.org.cn精诚集团BigData事业10精诚集团提供BigData解决方案的独立品牌在台北与北京设有研发与专业服务团队我们关注的不只是技术，更在意挖掘BigData对企业的商业价值透过软硬件一体的整合，大幅「简化」与「优化」企业处理BigData的种种问题火龙果整理uml.org.cnAppliance大数据一体机大数据处理的平台解决方案AnUniversalBigDataProcessingSolution企业的资料云硬件与软件一体储存与运算合一BigData运算与储存，单一架构解决火龙果整理uml.org.cn什么是大数据处理(BigDataProcessing)WordcountHarryPorter(哈利波特)432,442LordVoldemort(佛地魔)134,209Dumbledore(鄧不利多)72,982SeverusSnape(石內圤)28,252.......................................……...……………………….....……..•=PLANTS&JSESSIONID=S1FF9ADFF2•=s9_simh_gw_p14_d0_g74_i5?pf_rd_m=ATVPDKIKX0DER&pf_rd_s=center-2&pf_rd_r=1YN4ES7ZEV17ZRKA858X&pf_rd_t=101&pf_rd_p=4631&pf_rd_i=507846•=CN10816425•=CN10759096•:1.5TB/dayHitcountabc.com812,490,299amazon.com232,934,490yahoo.com198,283,002cnn.com57,922,190.............................……………………………...…………HitCountWordCount火龙果整理uml.org.cn什么是大数据处理(BigDataProcessing)•=PLANTS&JSESSIONID=S1FF9ADFF2•=s9_simh_gw_p14_d0_g74_i5?pf_rd_m=ATVPDKIKX0DER&pf_rd_s=center-2&pf_rd_r=1YN4ES7ZEV17ZRKA858X&pf_rd_t=101&pf_rd_p=4631&pf_rd_i=507846•=CN10816425•=CN10759096••=purchase&itemId=EST-13&JSESSIONID=SD7SL1FF9ADFF••=index&f=view&p=24hour&s=nlife•=store&func=style_show&SR_NO=DEAO45abc.com/category.screenmystore.splunk.com/flower_store/…………………………177.23.21.50--[15/Nov/2011:00:07:45]GET/flower_store/product.screen?product_id=FL-10=PLANTS&JSESSIONID=SD7SL1FF9ADFF2Mozilla/5.0(X11;U;Linuxi686;en-US;rv:1.8.0.10)Gecko/20070223CentOS/1.5.0.10-0.1.el4.centosFirefox/1.5.0.1016041667233.77.49.54--[15/Nov/2011:00:07:58]GET/flower_store/product.screen?product_id=K9-BD-01HTTP/1.1=FLOWERS&JSESSIONID=SD7SL1FF9ADFF2Mozilla/5.0(X11;U;Linuxi686;en-US;rv:1.8.0.10)Gecko/20070223CentOS/1.5.0.10-0.1.el4.centosFirefox/1.5.0.1018032431i10.32.1.37--[15/Nov/2011:00:08:26]GET/flower_store/product.screen?product_id=FL-DSH-01HTTP/1=FLOWERS&JSESSIONID=SD7SL1FF9ADFF2Mozilla/5.0(X11;U;Linuxi686;en-US;rv:1.8.0.10)Gecko/20070223CentOS/1.5.0.10-0.1.el4.centosFirefox/1.5.0.1010254463192.168.11.38-IPActionTimeServerURL###……….………..……………….……..…….……….………..……………….……..…….3rdpartypre-definedReportingFilterStringTruncationLogfile:1.5TB/day火龙果整理uml.org.cn什么是大数据处理(BigDataProcessing)RDR_SEND_TIMERDR_TAGSUBSCRIBER_IDPACKAGE_IDSERVICE_IDPROTOCOL_IDSKIPPED_SESSIONSSERVER_IPSERVER_PORTACCESS_STRINGINFO_STRINGCLIENT_IPCLIENT_PORTINITIATING_SIDEREPORT_TIMEMILLISEC_DURATIONPROTOCOL_SIGNATURZONE_IDFLAVOR_IDStartdateStarttimeSessiontypeSourceIPSourcePortNATIPNATPortDestIPDestPortProtocalOutputIDStarttimeEndtimeSourceIPSourcePortDestIPDestPortProtocalUpstreamDownstreamURLJoin1.1TBper-day600GBper-day火龙果整理uml.org.cn什么是大数据处理(BigDataProcessing)SequenceDe-Normalize177.23.21.50--[15/Nov/2011:00:07:45]GET/flower_store/product.screen?product_id=FL-10=PLANTS&JSESSIONID=S