大数据发展现状和趋势

数据驱动中国，创新成就未来！大数据发展现状和趋势1123大数据的定义及特征大数据发展现状和趋势部分国家推动大数据发展的措施目录456我国推动大数据发展的基础条件我国大数据发展亟需快速推进政府部门推动大数据情况7《行动纲要》解读及工作落实8对地方的几点要求和建议1.1大数据的定义信息技术的广泛深入应用，引发了数据量的爆发式增长，使人类进入大规模生产、分享和利用数据的时代。目前，全球大数据发展正处于起步阶段。虽然大数据是近年来各行业关注的热点，但大数据概念业界各方还没有统一的认识。广义地讲：大数据是思维、技术、数据和应用的结合，包含数据特征、分析方法、处理技术、商业模式、思维方式等。大数据指的是大小超出常规的数据库工具获取、存储、管理和分析能力的数据集。但它同时强调，并不是说一定要超过特定数量值的数据集才能算是大数据。大数据技术用于在成本可承受（economically）的条件下，通过非常快速(velocity)的采集、发现和分析，从大体量(volume)、多类别(variety)的数据中提取价值(value)，是IT领域新一代的技术与架构。阿里王坚大数据早已有之，新的大数据浪潮的特征是数据在线，得以大规模的汇聚和快速的分析和使用。维基百科指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。互联网中心大数据是基于多源异构、跨域关联的海量数据分析所产生的决策流程、商业模式、科学范式、生活方式和观念形态上的颠覆性变化的总和。31.2大数据的特征数量大聚合在一起供分析的数据规模非常庞大。目前，每18个月新增数据量是人类有史以来全部数据量的总和。多样性从数据格式上分为文本、图片、音频、视频等；从数据关系上分为结构化、非结构化、半结构化数据。速度快一般必须在秒级时间范围内给出分析结果，时间太长就失去了意义和价值。价值大数据背后潜藏的价值巨大，但是价值密度低，如同浪里淘沙却又弥足珍贵。41.3大数据的意义(1/2)（1）大数据对人类思维模式、科学范式、组织方式、生产方式、生活方式的影响具有深刻意义。强调思维方式的转变，抛弃过去凭经验的做法，通过对数据进行深入分析，总结经验、发现规律、预测趋势、辅助决策，让数据说明一切；重视数据资源的积累和建设，把数据视为与能源、材料同等重要的战略资源；善于利用适当的技术来对数据资源进行挖掘利用，释放数据潜在的价值，从而提供更多解决问题的新思路、新方法和新工具；提高政府决策、经济管理、企业运营、公共服务的科学化和智慧化水平。石油资源数据资源生产资源土地资源51.3大数据的意义(2/2)（2）大数据在改变人类生产、生活和社会管理方式的同时，也在重构信息技术体系和产业格局。目前IT业界对大数据多关注在数据管理的技术层面。数据管理技术在历经了人工管理、文件管理、数据库管理等时代，进入大数据管理时代。数据库架构也随之发生改变，从一种架构支持所有应用，向多种架构支持多类应用的方向发展，内存数据库、列存数据库、NoSQL数据库等新型架构的数据库不断涌现。大数据与云计算、物联网等其它新一代信息技术紧密相关，谷歌、亚马逊、Facebook、百度、腾讯、阿里巴巴等既是大数据企业也是云计算企业。6123大数据的定义及特征大数据发展现状和趋势部分国家推动大数据发展的措施目录456我国推动大数据发展的基础条件我国大数据发展亟需快速推进政府部门推动大数据情况7《行动纲要》解读及工作落实8对地方的几点要求和建议72.1大数据应用广泛数据流与人流、物流、资金流、技术流相交融，能够在用户需求、商业利益乃至国家利益等多重驱动下对经济社会各领域形成影响。数据资源来源广泛、渗透力强，其能够发挥的影响具有难以比拟的普遍性、细微性、长期性和多变性，将作用于人类社会的各个领域、各个层面。82.2大数据应用初见成效互联网行业大数据助力精准营销零售业大数据成为实时掌握市场动态的必要手段金融行业大数据成为科学决策的有力支撑电信行业大数据成为转型有效途径制造行业大数据提高生产效率和服务能力政府领域大数据提供更为广深的公共服务大数据应用初见成效2007年以来eBay产品销售的广告费降低了99%中国移动广东公司构建新一代详单账单查询系统，可为用户提供详单账单的实时查询，客户满意度大大提高。中信银行信用卡中心通过部署大数据分析系统，实现了近似实时的商业智能（BI）和秒级营销，每次营销活动配置平均时间从2周缩短到2~3天，交易量增加65%。农夫山泉通过大数据分析技术使销售额提升了大约30%，并使库存周转从5天缩短到3天，同时其数据中心的能耗降低了约80%。通用电气监测2万台喷气引擎中的不易察觉的警报信号，以此来预测哪些设备需要进行维护。利用大数据能够提前一个月预测其维护需求，预测准确率达到70%，这可以极大减少飞行延误。美国孟菲斯市警察局启用大数据预测型分析系统后，过去五年暴力犯罪率大幅下降。洛杉矶警察局的警员利用大数据信息，来决定当天巡逻地点和布置警力，犯罪率大大下降。92.3大数据产业链初具雏形大数据涉及硬件、软件、信息技术服务和信息安全等整个电子信息产业体系。从广义看，大数据产业链贯穿数据的整个生命周期，包含产生、采集、存储、管理、分析，直到最终的呈现和应用。狭义来看，大数据的产业链主要涵盖数据存储与管理、数据安全、数据分析、数据应用、数据呈现等环节。大数据的核心是软件。不断涌现的各种大数据技术多为企业根据自己的业务特点所做的针对性开发，典型的如Google的GFS、Bigtable、MapReduce为代表的分布式系统。开放源代码产品主导大数据技术发展方向。雅虎仅用了五年的时间，将Hadoop从科学项目变成了目前全球最大的大数据开源社区。未来五年大数据市场的平均年复合增长率将高达31%，到2017年大数据市场规模有望达到478亿美元。数据采集数据清理数据存储与管理数据分析数据显示102.4IT巨头纷纷布局大数据大数据对传统信息技术带来革命性挑战，正在重构信息技术体系和产业格局。大数据需要信息系统具备大规模、低成本、高效率以及实时获取、存储和处理多样化复杂数据的能力，将倒逼芯片、软件和信息系统的体系化创新与重构。IT巨头一方面通过并购进军大数据领域，另一方面依靠企业自身研发纷纷推出大数据分析产品。IBM、甲骨文、微软、谷歌、亚马逊、Facebook等跨国巨头是发展大数据处理技术的主要推动者。公司时间收购EMC2010年7月收购数据库软件供应商Greenplum,花费3亿美元EMC2009年7月收购数据复制解决方案提供商DataDomain，花费24亿美元IBM2010年9月收购数据库分析供应商Netezza公司，花费17亿美元IBM2010年10月收购网络分析软件供应商CoremetricsSAP2007年68亿美元收购BI能软件供应商CognosOracle2008年11月33亿美元收购BI解决方案提供商海波龙公司HP2011年100亿美元收购英国软件公司ProClarity微软2008年收购数据仓库产品厂商DATAllegro2013年上半年收购5家初创公司，总额达到1600万美元。将数据库作为其大数据战略的中心，将数据挖掘和分析技术整合到现有的数据库产品中。投资160亿美元进行了30次数据分析的相关收购。112.5大数据深刻影响国家网络信息安全全局大数据对国家信息安全和用户隐私保护带来新挑战，发达国家将可以利用掌握相关核心技术的优势大量获取敏感信息，大量用户个人信息的采集和集中处理也会加大隐私泄露风险。大数据也为信息安全乃至国家安全保障提供新的理念和技术手段，利用大数据分析挖掘，可以提高安全态势感知、预测以及应急处置的能力，提高情报分析、安全保障的现代化水平，提升国家安全攻防能力。12123大数据的定义及特征大数据发展现状和趋势部分国家推动大数据发展的措施目录456我国推动大数据发展的基础条件我国大数据发展亟需快速推进政府部门推动大数据情况7《行动纲要》解读及工作落实8对地方的几点要求和建议133.1美国（1/2）政府数据开放和共享是近几年美国联邦政府重点推进的数据应用开发政策。奥巴马政府在2009年推出的Data.gov，Data.gov也是美国“开放政府”承诺的关键部分。截至2012年11月，Data.gov共开放出了388529项原始数据和地理数据，涵盖了农业、气象、金融、就业、人口统计、教育、医疗、交通、能源等大约50个门类。通过开放API接口，Data.gov让政府的信息和服务交付更加便捷，也让公众和企业家在构建更佳政府、提升服务的过程中成为合作伙伴。143.1美国（2/2）2012年3月，美国白宫科技政策办公室推出《大数据研究与开发计划》，共有六个联邦部门和机构联合参与此计划。该计划投资两亿多美元大力推动和改善与大数据相关的收集、组织和分析工具及技术，以推进从大量的、复杂的数据集合中获取知识的能力。该计划还承诺将在科学研究、环境保护、生物医药研究、教育以及国家安全等领域利用大数据技术进行突破。该计划还强调，大数据技术事关美国国家安全、科学和研究的步伐，将引发教育和学习的变革。15英国也是大数据的积极拥抱者，无论是政府、研究机构，还是企业，都已经开始行动，抢占“数据革命”先机。英国商业、创新和技能部斥资1.89亿英镑发展大数据，《英国农业技术战略》投资重点锁定大数据。涉及部门：英国技术战略委员会、英国商业、创新与技术部、英国教育和科技部、英国财政部等部门。一方面，英国政府力推数据公开，为商业企业和研究机构所用；另一方面，在资金和政策上支持大数据在医疗、农业、商业、学术研究等领域的发展。3.2英国2013年初，英国商业、创新和技能部宣布，将注资6亿英镑发展8类高新技术，大数据独揽其中的1.89亿英镑。2013年5月初，英国首个综合运用大数据技术的医药卫生科研中心在牛津大学成立。英国首相卡梅伦在揭牌仪式上说，这一中心的成立有望给英国医学研究和医疗服务带来革命性变化，它将促进医疗数据分析方面的新进展，帮助科学家更好地理解人类疾病及其治疗方法。162010年11月，欧盟委员会首次提出“欧盟开放数据战略”，旨在将公共部门搜集和产生的原始数据通过再利用成为数以万计ICT用户依赖的数据材料，2010年12月正式推进这一战略并提出有关开放数据战略的多项法律提案。2014年10月，欧盟委员会宣布，将与大数据价值协会建立合作关系，投资25亿欧元促进数据行业发展。该项公私合作将从2015年1月1日正式启动，并从2016年起启动一批项目。在2016年至2020年间，欧盟委员会将利用“地平线2020”科研规划向这项合作进行超过5亿欧元的投资，私营行业合作伙伴的投资将超过20亿欧元。3.3欧盟172013年6月，八国峰会（G8Summit）期间签署了《八国集团开放数据宪章》（G8OpenDataCharter，简称《G8开放数据宪章》），标志着开放政府数据已经成为全球共识，未来必将迎来更大发展。人们认识到大数据价值具有很强的“应用驱动”特征，数据通过开放、开发和利用，就能产生成倍的价值，反之，数据沉淀不用，其价值无法发挥和体现出来。3.4八国集团（G8）2013年6月17-18日，美、英、法、德、意、加、日、俄八国领导人在英国北爱尔兰厄恩湖举行了2013年八国峰会（G8Summit）。183.5其他国家国际上韩国、加拿大、新西兰、日本、德国、法国都已经推出自己国家的大数据或开放数据战略。联合国推出了名为“全球脉动”（GlobalPulse）的新项目，希望利用“大数据”预测某些地区的失业率、支出削减或是疾病爆发等现象，从而促进全球经济发展和公共服务管理。日本政府于2012年5月启动新的ICT战略研究。2012年9月，日本总务省发布2013年行动计划，提出以复苏日本为目的推进“活跃在ICT领域的日本”ICT综合案，明确提出“通过大数据和开放数据开创新市场”。表明，日本政府在新一轮IT振兴计划中把大数据发展作为国家层面战略提出。国别时间措