搜索
2/333/34全球数据的爆炸增长•新浪可以发送2万条微博•苹果可以下载4.7万次应用•淘宝可以卖出6万件商品•人人网可以发生30万次访问•百度可以产生90万次搜索查询•Facebook可以发生70万次访问随着互联网/移动互联网、数码设备、物联网/传感器技术的发展，全球数据生成在高速增长。信息处理技术的发展使数据价值能够被更好的挖掘和利用。传统的数据处理技术无法应对新的挑战。根据IDC（国际数据公司）的监测统计，2011年全球数据总量已经达到1.8ZB，这个数值以每两年翻一番的速度增长，预计到2020年全球将总共拥有35ZB的数据量，增长近20倍。1分钟做了什么？数据来源：中文互联网数据咨询中心《广州电信研究院报告》2012.104/34政府及专家对大数据高度重视国际美国：2012美国政府投资2亿美元启动“大数据研究和发展计划”。2012国防部宣布将以每年投入约2.5亿美元建设经费将大数据建设提升为美军战略重点加以推进，启动了“X数据”计划。日本:2012年提出以电子政府、电子医疗、防灾等为中心制定新ICT（信息通讯技术）战略，发布“新ICT计划”，重点关注大数据研究和应用。英国：2013年1月,英国政府宣布将投资1.89亿英镑用于对地观测、医疗卫生等大数据和节能计算技术方面。匈牙利：欧洲核子中心（CERN）将在匈牙利建设一座欧洲最大的数据中心。欧盟：欧盟委员会宣布建设100Gbps高速网络项目，旨在应对大数据的爆炸。芬兰：微软将在芬兰建设规模较大的数据中心，服务欧洲用户，该数据中心资本和运营将超过2.5亿美元。韩国：韩国政府宣布将建设一个开放性的数据中心，公民、企业、团体等均可通过该中心对大数据进行提炼和分析。奥巴马:将大数据称为“未来的新石油”。朴槿惠：2013年2月提出的创新型经济框架，呼吁将信息技术作为韩国经济增长的一个新支柱。……数据来源：中华人民共和国科技部官网，2012.5.31企业网。2013.7.12新浪网，2013.9.4中国江苏网，2013.7.155/34政府及专家对大数据高度重视国内工信部：发布的“物联网十二五规划”,提出四项关键技术创新工程——信息处理技术、信息感知技术、信息传输技术、信息安全技术。国家发改委数据分析软件开发和服务列入专项指南。2012年12月，广东省启动了《广东省实施大数据战略工作方案》.2013年科技部将大数据列入973基础研究计划。2013年度国家自然基金指南中，管理学部、信息学部和数理学部将大数据列入其中。李国杰院士是认为“大数据是一个国家数字主权的体现”。……数据来源：中国科技财富2013年3-4月刊上海推进大数据研究与发展三年行动计划（2013-2015年）6/34国内IT企业的大数据计划阿里巴巴：未来将是数据公司阿里巴巴拥有最大的电商数据，阿里巴巴集团主席马云在多个场合都表达过阿里巴巴的“三大战略”，即平台、金融、数据，在他的计划中，阿里巴巴最终将会是一个数据公司。百度：“深度学习”大数据百度拥有中国最大的网民行为数据库，今年百度成立了深度学习研究院，通过大数据“深度学习”出互联网的未来。曙光：造“云”掘金曙光是目前国内拥有云计算中心最多、行业云最多、城市云最多的公司。最新的曙光大数据战略将曙光从硬件设备供应商向解决方案和服务提供商转变。7/348/34大数据的发展现状1大数据发展现状1政府行业电信行业金融行业互联网行业支撑政务活动开展英国圣克鲁斯警局分析城市、社交数据，构建犯罪趋势模型，对重点区域的犯罪进行预测。增强社会服务能力美国迈阿密戴德县分析关键县政工作数据，帮助政府制定水资源、交通拥堵和提升公共安全等方面决策。营销计划制定辅助湖南电信分析电信市场动向，针对性定制营销计划。用户服务2012年底，中国联通就成功引入大数据和Hadoop技术，方便用户上网记录集中查询。精准营销Facebook通过挖掘用户信息推送广告，据悉2011年，从每个用户身上赚到5.11美元。相关预测谷歌利用大数据进行电影票房预测，准确率达94%。股票市场操作辅助：华尔街“德温特资本市场”公司通过分析微博账户的留言，判断民众情绪，以此决定公司买卖股票的时机，从而获取盈利.小额贷款：阿里巴巴利用大数据技术，开展小微信贷业务，截止2013年2季度末，累计投放贷款超过1000亿元，不良贷款率为0.87%。9/34大数据的发展现状2医疗行业减少医疗事故西雅图儿童医院通过应用，有效减少了医疗事故，帮助医院节省了300万美元的供应链成本.医院运营管理广州中医药大学第一附属医院,利用IBM暑假挖掘工具，对医学数据进行管理，实现医院的运营监控、用药监察、费用及科室管理。流型传染病预测Twitter利用利用大数据技术，可以构建出未来某一特定地区流感严重程度的模型。教育专家遴选清华大学图书馆以海量多来源数据为基础，通过分析海量文献数据的特点，自动甄别出清华大学目标学者。目前，已成功甄别出清华50位专家学者。教育行业10/34大数据的发展现状3企业运营管理IBM公司利用大数据分析工具，辅助济南钢铁集团进行企业管理。实现了济南钢铁集团的精细化管理，使决策更加准确，且使成功降低了20%以上。制造改进信息反馈BWM公司利用大数据技术，获取分析车辆行驶参数，辅助车辆制造的改进。制造行业购物中心管理支持北京朝阳大悦城利用大数据技术分析销售量与车流量对比，辅助决策道路及停车场改造。营销策略辅助沃尔玛通过分析挖掘销售数据，发现并实施了“啤酒+尿布”的营销策略。零售行业11/3412/34市场分析1—国际市场规模市场研究公司MarketsandMarkets最新发布的一份报告预计，从2013年到2018年，全球大数据市场将会出现年均26%的增长率，即从今年的148.7亿美元增长到2018年的463.4亿美元。数据来源：中文互联网数据咨询中心，2013年Wikibon报告，2013年由2013年Wikibon发布的报告获知，2012年专业大数据厂商收入明细。13/34市场分析2—国内市场规模2012年市场规模达到4.5亿元，2013年还将持续发酵，未来三年内有望突破40亿元，2016年有望达到百亿规模。14/34市场分析3—企业情况分析数据来源：2013年速途网15/34市场分析4—市场行业结构计世资讯预测，2012年政府、互联网、电信、金融的大数据市场规模较大，四个行业将占据一半市场份额。由于各个行业都存在打数据应用需求，潜在市场空间非常可观。数据来源：2013年速途网16/34市场分析5—产品及技术需求数据来源：2013年速途网17/34市场分析6—市场驱动及阻碍因素数据来源：2013年速途网18/34市场分析7—潜在市场1医疗对美国医疗行业来说，大数据每年拥有3000亿美元的潜在价值。2制造生产商可以利用大数据使产品研发、组装成本消减50%，人力成本消减7%。3位置服务利用全球的个人位置信息，每年可以取得6000亿美元的消费者。4零售零售商可以利用大数据使经济例如获得60%的增长。5公共管理对欧洲的公共管理部门来说，大数据每年有2500亿元欧元的潜在价值。数据来源：《广州电信研究院报告》2012.1019/3420/34大数据时代面临的挑战3大数据集成•数据存在广泛的异构性；•数据质量不高。45612大数据的分析•数据处理要求实时性；•与传统数据处理方法相比，先验知识缺乏。大数据隐私问题•隐性的数据暴露，一个人多点独立行为数据汇集，造成隐私暴露；•数据公开与隐私保护矛盾。大数据能耗问题•采用新型低功耗硬件；•引入可再生新能源。大数据处理与硬件的协同•硬件异构性带来大数据处理难题；•新硬件给大数据处理大量变革。大数据管理易用问题•大数据处理得到的结果可能多样化；•应用者对大数据工具比了解限制了其从中获取知识能力。大数据时代的挑战21/3422/34知名大数据企业简述全球大数据企业主要分为两大阵营：第一阵营：单纯以大数据技术为核心的新兴企业，希望为市场带来创新方案并推动技术发展。第二阵营：是打理数据库/数据仓储业务的老牌厂商，他们打算利用自身优势地位冲击大数据领域，将现有安装基础及产品线口碑推广到新一轮技术浪潮当中。23/34知名大数据企业1—IBMIBM是2012年大数据业务营收成绩最好的公司，IBM过去一年从大数据相关产品及服务中获得了13亿美元收益。其具体产品包括服务器与存储硬件、数据库软件、分析应用程序以及相关服务等。在IBM围绕大数据开发出的产品中，DB2、Informix与InfoSphere数据库平台、Cognos与SPSS分析应用最为知名。IBM也为Hadoop开源数据分析平台提供支持。惠普在2012年获得的大数据营收名列第二，总值为6.64亿美元。此外还提供与之相关的硬件、软件以及服务，其最为知名的方案当数Vertica分析平台。24/34知名大数据企业3—TeradataTeradata在2012年获得全球第三大大数据厂商头衔，其营收总额达4.35亿美元。Teradata凭借自家硬件平台、数据库以及分析软件而声名远播。它同时针对零售及运输行业推出了专门的分析工具。2012年甲骨文名列大数据企业榜单第五位，营收总额为4.15亿美元。尽管在大家眼中，甲骨文一直以其冠绝群雄的数据库产品闻名，但事实上他们也是大数据领域的主要竞逐者之一。其甲骨文大数据设备将英特尔服务器、ClouderaHadoop发行版以及甲骨文的NoSQL数据库结合到了一起。25/34知名大数据企业5—SAP2012年该公司在大数据企业竞争中位居第六，营收总额为3.68亿美元。SAP推出了一系列分析工具，但其中知名度最高的当数其HANA内存内数据库。EMC一方面帮助客户保存并分析大数据，另外也充当着大数据分析智囊“营销科学实验室”的所在地——这家实验室专门分析营销类数据。EMC在2012年的大数据企业排行榜中位列第七，营收总额为3.36亿美元。26/34知名大数据企业6—其他公司Amazon向来以企业云平台闻名于世，但同时也推出过一系列大数据产品，其中包括基于Hadoop的ElasticMapReduce、DynamoDB大数据数据库以及能够与AmazonWebServices顺利协作的Redshift规模化并行数据仓储方案。微软的SQLServer数据库也颇具知名度，且于2012年的大数据企业比拼之中位列第九，营收总额为1.96亿美元。微软的大数据发展战略可谓雄心勃勃，包括与Hortonworks建立合作关系、建立一家大数据新兴企业以及推出基于Hortonworks数据平台的HDInsights工具。27/34知名大数据企业6—其他公司该公司在过去一年中拿下3600万美元大数据营收。谷歌公司推出的大数据产品包括BigQuery——一款基于云的大数据分析平台。VMware在过去一年中获得3200万美元大数据营收，几乎与谷歌公司持平。VMware向来以云计算及虚拟化解决方案著称，不过近来也开始逐步踏入大数据领域。今年六月虚拟巨头公布的VMwarevSphere大数据扩展版就很说明问题，这套方案使得vSphere能够控制Hadoop部署并帮助企业用户简化大数据项目启动流程。28/34谢谢