搜索
大数据平台服务的商机报告人：舒翼讨论组成员：陈秋军、代小春、朱凤兰、丁颖琪、闫文波朱雪菲、王建华、周璇、贾玉萌、张海兵大纲•大数据产生的背景及其概念•大数据平台服务的商业模式•大数据平台服务能为您做什么•大数据平台服务的技术准备就位•大数据平台服务的供应商就位•总结GBTBPBEBZB大数据到底有多大??地球上至今总共的数据量：在2006年，个人用户才刚刚迈进TB时代，全球一共新产生了约180EB的数据；在2011年，这个数字达到了1.8ZB。而有市场研究机构预测：到2020年，整个世界的数据总量将会增长44倍，达到35.2ZB（1ZB=10亿TB）！1PB（拍字节）=2^50字节1EB（艾字节）=2^60字节1ZB（泽字节）=2^70字节大数据产生的背景:信息大爆炸大数据产生的背景:信息大爆炸facebook社交网络微博淘宝、ebay电子商务…手机、Apps移动互联…移动互联网、社交网络、电子商务等信息化发展极大拓展了互联网的边界和应用范围。互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。传感器RFID从2005年的1.3亿增加到2010年的30亿互联网Google每天处理大约24PB的数据社交网络Facebook每天处理25TB的数据Twitter每天处理7TB的数据电信中国移动每天产生10TB+话单、30TB+上网日志和100TB+信令数据金融每交易周期，纽约证券交易所捕获1TB的交易信息零售沃尔玛每小时要处理100万笔电子交易记录科研欧洲核子研究中心的强子对撞机每秒产生40TB数据政府美国政府拥有848PB数据，居于美国第二位网上一分钟，人间一万年什么是大数据平台服务？？大数据平台服务=海量数据导入+分析软件+挖掘过程什么是大数据平台服务？？企业用以分析的数据越全面，分析的结果就越接近于真实。大数据分析意味着企业能够从这些新的数据中获取新的洞察力，并将其与已知业务的各个细节相融合大数据技术将被设计用于在成本可承受（economically）的条件下，通过非常快速（velocity）的采集、发现和分析，从大量化（volumes）、多类别（variety）的数据中提取价值（value），将是IT领域新一代的技术与架构以服务为核心的商业模式卖license卖服务从对license的需求到对整体解决方案、服务的需求•易复制、利润率高•边际成本为零•卖人头•盗版•客户粘度高•软硬一体化•利润率较卖license低，需要解决复用问题因泛在计算而导致行业需求变化利用好海量的大数据，解决中国软件公司卖人头、卖授权、无粘度的商业模式，转变为以数据服务为核心的新商业模式。数据的价值链数据的价值链大数据平台服务的盈利模式•模式1：数据存储空间出租•模式2：客户关系管理•模式3：企业经营决策指导•模式4：个性化精准推荐•模式5：建设本地化数据集市•模式6：数据搜索•模式7：创新社会管理大数据的价值数据已经成为可以与物质资产和人力资本相提并论的重要的生产要素行业大数据应用契合度矩阵应用可能性电信政府（公共事业）交通金融医疗教育能源（电力/石油）•纵轴契合度：表示该用户的IT应用特点与大数据特性的契合程度；•横轴应用可能性：表示该用户出于主客观因素在短期内投资大数据的可能性；•注：该位置为分析师访谈的综合印象，为定性分析，图中位置不代表具体数值HighMidLowLowMidHigh优先关注行业用户应用特点与大数据技术有较高的契合度，在主客观条件上也有较高的应用可能性。值得关注行业用户应有特点与大数据的契合度及应用可能性综合较高适当关注行业用户两个维度暂时都不具备优势，可适当给予关注互联网（电子商务）契合度流通零售制造各行业对大数据平台服务的需求零售商减少80%的分析查询的时间优化仓储股票交易所原本在2PB数据上26小时的查询减少到2分钟政府机构分析声学数据从几小时减少到70毫秒电力公司通过在若干分钟分析10PB数据避断电电信分析流式网络数据减少硬件成本90%Hospital医院通过分析生命特征流提前24hours检测疾病大数据平台服务能为您做什么？行业分析篇大数据平台服务能为您做什么？智慧地球篇2011年3月11日日本大地震发生后仅9分钟，美国国家海洋和大气管理局(NOAA)就发布了详细的海啸预警。NOAA通过对海洋传感器获得的实时数据进行计算机模拟，制作的海啸影响模型出现在各大网站。1962年，经过“圣灰星期三”风暴后，美国陆军工程部和美国国家海洋与大气管理局共同建设了一个传感器监测系统，对兴风作浪的海洋进行监测。2005年，浮标上安装了更高端的传感器，用来监测海浪方向。2009年，系统再次升级，开始着手建立一个覆盖全美海岸线的精确海浪监测网络。这些传感器以分秒为单位，将数据源源不断实时传回大数据平台服务能为您做什么？语言文字分析奥巴马和罗姆尼辩论情况分析。大数据平台服务能为您做什么？社交网络分析电信行业、传媒业借助社交网络分析，对客户的通话数据、微博连接进行分析，能够识别出这部分“影响者”。社交分析并不是分析单一用户的通话记录和微博信息，而是分析各用户所处的社交网络。圈子识别关键成员识别传播影响分析重入网用户识别双机双卡用户识别六度空间理论关系强度分析大数据平台服务能为您做什么？算法交易、欺诈检验欺诈检测：监控信用卡使用,当检测的信用卡在很短的时间内并且相距甚远的位置已连续被使用，检测到欺诈行为,拒绝卡的使用算法交易：及时发现存在的交易机会，每次一小笔，毫秒级交易，每天进行数量众多的交易。已经成为趋势金融交易是最能体现大数据的Velocity特性的，机会稍纵即逝，甚至券商对连接到交易主机的网线长度都有至关重要的诉求。算法交易成为趋势，但也导致了一次小型的股灾。大数据平台服务能为您做什么？客户特征交叉销售今年年初，美国一名男子闯入了他家附近的Target店铺（Target是一家美国零售连锁超市）。“你们怎么能这样！”男人向店铺经理大吼到，“你们竟然给我17岁的女儿发婴儿尿片和童车的优惠券，她才17岁啊！”店铺经理不知道发生了什么，立刻向来者道歉，表明那肯定是个误会。然而，经理没有意识到，公司正在运行一套大数据系统。一个月后，这个愤怒的父亲打来电话道歉，因为Target发来的婴儿用品促销广告并不是误发，他的女儿的确怀孕了。——《纽约时报》报道更多：反恐（万维信息触角计划与建言计划），库存管理（沃尔玛的RetailLink）、卖数据！大数据驱动市场营销、驱动成本控制、驱动产品和服务创新、驱动管理和决策的创新、驱动商业模式的创新。技术解决方案准备就绪Gartner新兴技术成熟度曲线(2012年)Gartner新兴技术成熟度曲线(2011年)仅一年时间，大数据技术就取得快速成长。仍处于上升通道，处于期望膨胀期（PeakofInflatedExpectation）需2-5年才能达到成熟期，成为主要应用技术。技术解决方案准备就绪海量存储GFSHDFSAmazonS3TFSCEPHHadoop离线计算MapReduceTenzingHive/PigDremelDrillImpalaElasticMapReduce在线计算SpannerBigTableHBaseSimpleDBDynamoDBRedisMongDB流式计算S4Puma2StormStreamBase相关领域ChubbyZookeeperPregelHAMAMahoutSparkCaffineProtocolBufferAvro/Thrift供应商准备就位▪基于SQL语言:面对OLAP的传统行和列▪不基于SQL或map-reduce的:由谷歌率先发起▪数据流:基于运行商数据直接生成任意图形新平台技术数据入口/汇聚数据平台分析不同范围的服务▪前提：传统交付模式-单片或基于设备的解决方案▪云:能够充分利用物理设施的弹性，以实现处理快速增长数据的能力“数据库将演变成一个虚拟的，基于云计算，超级可扩展的分布式平台。”-ForresteranalystJimKobielus新的传输方案总结：大数据和大数据平台服务的意义“Dataisthenewoil.”CliveHumby结论：能够提供数据分析和挖掘的大数据平台服务供应商是真正的数据淘金者除了上帝，任何人都要用数据说话----爱德华·戴明Google的判断:为了淘到一点金子，需要保存全部沙子！以一种特定方式，对海量数据进行分析，获得有巨大价值的产品和服务或深刻的洞见。人类从依靠自身判断做决定到依靠数据做决定的转变，也是大数据作出的最大贡献之一。——《大数据时代》大数据的误区大数据仅仅是工具和手段，不是目的其更大的意义在于便捷人们的生活，优化商业模式和组织形态，降低社会运行成本推荐读物:大数据发展:《大数据:正在到来的数据革命》涂子沛著《大数据时代:生活、工作与思维的大变革》维克托•迈尔•舍恩伯格著技术类:《hadoop权威指南》《大数据•互联网大规模数据挖掘与分布式处理》王斌译......