大数据服务策略规划天云科技2011年11月议题第2页大数据概述大数据智能大数据服务的主要商用模式中国联通大数据业务规划中国联通大数据业务的生态系统中国联通大数据服务的发展前景大数据的产生第3页在残酷的市场竞争中,许多组织倾向于掌握大量企业本身和外部的数据,来揭示企业未来的发展方向,以便帮助企业做出下一步行动的决策,大数据应运而生。与传统海量数据不同,大数据=海量数据+复杂类型的数据,大数据是由三项主要技术趋势汇聚组成海量交易数据海量交互数据海量数据处理•传统的ERP应用程序和在线交易处理分析系统中(OLTP),关系数据以及非结构化和半结构化信息仍在飞速增长•Facebook、Twitter、LinkedIn及其它来源的社交媒体数据产生大量的用户交互数据•用于数据密集型处理的架构如硬件群中运行的ApacheHadoop,使大数据的处理成为可能大数据的3个V第4页多样性(Variety)•大数据不仅局限于结构型数据,也包括非结构型数据,比如:文字,录音,录像,视频,记录高速度(Velocity)•大数据是时间敏感的,必须快速识别和快速响应才能适应业务需求大容量(Volume)•大数据的特点就是巨大。公司充斥着各种数据,经常是TB级,甚至是PT级的信息量PT级的信息量Variety——数据类型十分广泛第5页•至2012年,非结构化数据占有比例将达到互联网整个数据量的75%以上。而非结构化数据中50%~75%的数据都来源于人与人的互动,都是以人为中心产生的•随着电子商务、移动应用、社交网络等日益活跃,在移动互联网、电子商务、社交网络、物联网、新医疗、LBS、视频、音乐等方面产生大量的非结构化或半结构化的数据20%80%32%63%结构化数据非/半结构化数据企业数据构成数据增长率Velocity——实时产生、转换、分析、响应第6页大数据实时应用流实时数据采集实时格式转换实时应用分析实时决策响应•大数据是高度时间敏感的,对数据处理速度的要求很高,只有快速反应才能融入企业的工作和决策流程,并产生实际的商业价值。跨系统平台采集不同格式转换专业化模型分析高效指导决策Volume——惊人的数据容量增长第7页•Twitter每日发送量达到2亿,增长率200%,在3月时Twitter称其消息日发送量为1.4亿,2009年1月发送量仅为200万。•Facebook每天相片上传数量每个月超过60亿张•……•据IDC的报告显示,全球数据量每18个月就要翻一番,每年全球产生的数据量已经高达40EB(1EB=1000PB)数据走向ZB的数量级8“从混乱中挖掘价值”IDC数字宇宙研究报告•2011年用户将产生和复制1.8ZB(18000亿GB)的数据。•到2020年,全球数据使用量预计暴增,达到35.2ZB1ZB=1,024EB=1,048,576PB=1,073,741,824TB大数据的应用为企业带来巨大收益第9页eBay的分析平台每天处理的数据量高达100PB,超过了纳斯达克交易所每天的处理量。广告方面,eBay建立了一个封闭式优化系统,可以精确计算出每一个关键字为eBay带来的投资回报。通过对广告投放的优化,自2007年以来,eBay产品销售的广告费降低了99%,顶级卖家占总销售额的百分比却上升至32%。3月11日日本大地震发生后仅9分钟,美国国家海洋和大气管理局(NOAA)就发布了详细的海啸预警。随即,通过对海洋传感器获得的实时数据进行计算机模拟,制作的海啸影响模型出现在YouTube等网站。为了在更短时间内分析出准确的海啸活动趋势,NOAA每年投入10亿美元提升其对大数据进行处理的能力沃尔玛是最早通过利用大数据而受益的企业之一,一度拥有世界上最大的数据仓库系统。通过对消费者的购物行为等非结构化数据进行分析,沃尔玛创造了“啤酒与尿布”的经典商业案例。早在2007年,沃尔玛就建立了一个超大的数据中心,其存储能力高达4Pb以上。沃尔玛的数据量已经是美国国会图书馆的167倍议题第10页大数据概述大数据智能大数据服务的主要商用模式中国联通大数据业务规划中国联通大数据业务的生态系统中国联通大数据服务的发展前景信息交互模式的转变导致空前激烈的市场竞争,是企业迫切需要大数据的根本原因•商业中重要的信息流因为线上交易及互联网等彻底变革,新兴模式打破了商品流通的地域性和信息透明等壁垒,使企业陷入无法回避的激烈竞争,当然也带来巨大的商业机会。信息由商家选择告知比价非常困难,耗费精力信息分享限于一定的小圈子跨区域购买不了解信息且获取困难传统商业模式特点:360度信息客户自查询比价变的非常容易可以通过网络快速传播商品口碑质量区域实体等限制基本没有障碍新型电子商务模式特点:壁垒的透明化,进入的简单化,产品同质化,使得激烈竞争成为常态,且竞争争锋相对、变幻莫测。电子商务使B2C的产品类营销完全透明化,竞争加剧第12页商家角度:一边亏损,一边打折•2011年11月份,随着苏宁电器上线图书频道,京东图书折扣基础上再打半价,当当满100送200客户角度:比价容易,全面透明•买什么,到淘宝上看看价格•智能终端新推出比价软件,可以随看到随比价•比价网站兴起•电子商务领域客户面向广,但是同时竞争也最惨烈,必须快速时时的掌握客户、口碑、消费变化、运营数据信息方能处于不败之地。电信运营商不得不面向行业内及其他信息服务机构的冲击第13页通信行业内竞争信息服务竞争•任何一家运营商都首先面临全业务运营的激烈争抢竞争,争夺优质客户•同时,在运营商内部竞争的时候,还需要面向外部互联网、移动互联网环境下对信息沟通模式的转变和新结束需求的替代型变化,话务不断下降,是否仅仅沦为管道?•电信运营商的通信粘性不断下降,业务捆绑粘性不足,对客户的深度挖掘和服务能力急需通过大数据进行拓展。信息获取和传播的加速也使传统服务行业竞争加剧•传统零售行业必须面临网上购物的巨大冲击•航空公司的票务代理机构已经退居幕后,客户自行上网选购•团购新型模式使各种竞争更上一层楼客户点评口碑传播信息也导致整个客户关系管理及营销管理模式转变第15页•传统模式是企业自宣传推广为主,当互联网信息变得极其透明,客户口碑、销售量、热评等成为其他客户选择的主要考虑因素,客户自发交互交易后感知信息改变了传统的营销和服务模式。在这些竞争激烈的行业,市场领导者企业率先认识到数据蕴含的巨大商业价值第16页数据已经成为新的商业生产资料:一种基本上于资本及劳动力一样重要的经济投入企业在发展,壮大自己的版图的过程中,不仅需要强大的团队,源源不断的资金支持,拥有数据并正确运用数据也是不可缺少的成功元素Source:Data,DataEverywhere,TheEconomist,February25,2010每一天我醒来都会问自己:“我怎样才能让数据更好的流通,怎样更好的管理及分析数据——沃尔马CIO,罗林福特大数据中蕴藏巨大的客户信息、商业信息和业务信息,助力各行各业发展第17页娱乐媒体将大量娱乐信息精准投放,捕捉视觉热点,满足大众需求医疗领域医疗全球化,信息交流透明化,低成本治疗餐饮领域借助互联网实现更广泛的传播和客户推广、交互、管理安全领域助力实现高危行业监控,城市安全管理商业领域帮助企业快速获取行业产品信息及客户消费习惯电信行业根据客户差异提供更加宽广、深度的各种信息服务大数据应用•通过对各种形式数据的采集和应用,能够为社会、企业及个人带来无限的应用和便利。-社会通过对信息的采集和智能控制在公众医疗服务方面带来更好的服务-企业在激烈竞争的同时为差异客户提供精准服务-个人则享受更多的服务选择对象。在商业竞争中,大数据智能成为企业避免同质化竞争的重要武器和核心竞争力第18页•在激烈的商业竞争中,信息是第一生产力,只有掌控客户需求、运营情况、竞争态势等第一手的知识,才能让自己从众多的竞争者中脱颖而出,从而成为最后的赢家根据客户行为交互信息,挖掘客户需求,提供个性化差异化服务及时掌控企业生产、反馈、运营等各方面的信息,助力企业快速灵活反应在接受竞争的同时,及时了解行业竞争信息和模式,快速形成内在的调整和跟进客户需求运营情况竞争态势领军者与一般企业的区别——大数据关乎企业“智商”更了解客户更了解环境大数据应用企业借助大数据战略打破数据边界,了解更为全面的运营及运营环境的全景图。企业借助大数据更渗透的甚至预见性的发现客户需求、规律及时予以满足大数据进一步整合了企业之间的信息融合合作,为企业业务拓展提供了更多的商机更多应对手段领军电子商务企业已经将大数据的应用分析用到极致•当当通过同类客户的消费习惯进行关联推荐使很多人惊叹于这种智慧。•淘宝通过最强大的数据源,为客户提供各种精细的准确的搜索以及各种维度的排序使用功能,在信息查找方面带来极大的便利,促进人们购买力提升零售行业从关注信息控制到应用大数据,走在改变营销格局的路上21沃尔玛就很早以前就因为“啤酒尿布”的案例取得了在数据应用上的巨大效仿力量,2011年4月沃尔玛更以3亿美元的价格收购了社交媒体平台Kosmix,Kosmix将加入新成立的沃尔玛实验室(@WalmartLabs)。沃尔玛称该实验室将负责制定公司的社交和移动商务战略,把实体店和电子商务整合到一起。沃尔玛实验室专注于三个领域:搜索、推荐和让用户惊喜的小发现。提供个性化的商品提醒,这是沃尔玛自己的产品促销系统。核心就是基于大数据和快数据(bigdata&fastdata)Ebay通过精细数据监控评估,优化广告投放,节约99%的广告成本22eBay对互联网广告的投入一直很大,通过购买一些网页搜索的关键字,将潜在客户引入eBay网站。为了对这些关键字广告的投入产出进行衡量。eBay建立了一个完全封闭式的优化系统。通过这个系统,可以精确计算出每一个关键字为eBay带来的投资回报。通过对广告投放的优化,自2007年以来,eBay产品销售的广告费降低了99%,顶级卖家占总销售额的百分比却上升至32%。顶级卖家销售份额广告费用电信运营商通过应用数据决策快速响应市场需求的变化,及时调整策略满足客户需求第23页•北美电信运营商Rogers通过分析客户流失原因,快速发现数据流量费用过高是导致客户流失和不满的主要原因之一,包月的形式又将导致流量激增,网络难以承受,于是选取了将用户粘性最高的社交网站如facebook和twitter等包含在无上限的流量包中,与客户签订长期合约,不仅保持了客户群体的稳定,也保证了企业的收入与投资之间的平衡。大数据给医疗也带来了新机,为患者提供全程一体化护理第24页美国著名的医疗健康组织KaiserPermanente又往前多走了一步,该组织通过将下属所有医疗机构的电子病历记录标准化,形成多方位多维度的大数据。这些需要在同一时间分析的众多因素包括病人基本资料、诊断结果、处方、医疗保险情况和付款记录等数据。将这些不同的数据综合起来,Kaiser的决策支持软件将提供给医护人员完整的病人历史,并选择最佳的医疗护理解决方案。数据分析同时也应用于物流行业,将GPS的数据应用于优化航线,降低成本第25页香港民航处将首次运用人造卫星导航技术优化航道设计,由10月22日起,从西面与北面抵港的航道将会缩短210公里,每班航机可节省14分钟飞行时间。新航道将提高空管系统效率,减低航空公司燃油消耗量。以平均每日约150架次航班使用有关航道计算,每年受惠旅客人次将达800万。每班班机最多可节省约210公里飞行航程,飞行时间将减少14分钟。新航道每年可为抵港航班节省总飞行里数超过1000万公里,总飞行时数可减省超过12000小时,也有助减少空管人员的工作量。大数据信息在各行各业中都得到广泛应用第26页美国国家海洋与大气管理局(NOAA)利用“海量数据”进行气象、生态系统、天气和商务研究。美国国家航空航天局(NASA)将“大数据”用于航空和其他领域。《纽约时报》使用“大数据”工具进行文本分析和Web信息挖掘。迪斯尼则利用它们关联和了解跨不同商店、主题公园和Web资产的客户行为。总结:大数据具备无限的商业价值第27页•企业的未来可能取决于你对大数据的