搜索
2016年11月1、时代背景2、大数据的概念与内涵3、大数据案例赏析4、大数据发展现状5、院士级大数据简介6、大数据时代，面临的机遇与挑战7、应用建议第页第页1、时代背景虽有智慧不如乘势虽有镃基不如待时。——孟子大意：虽然有智慧，不如借助形势；虽然有锄头，不如等待农时。“镃基”，当时的农具，一种大锄头。这句话主要强调抓住时机，捕捉机遇的重要性。时来天地皆同力，运去英雄不自由。蛮荒时代农耕时代工业时代信息时代？第页第页备注：1、农耕时代，包括新石器时代、青铜器时代、铁器时代；2、工业时代，包括工场时代、蒸汽时代、电气时代；3、信息时代，包括计算机时代、互联网时代和大数据时代4、云计算、物联网和移动互联网，构成大数据时代的基础和前提。2016年万物互联触手可及在线化数字化互联网让世界变成了地球村，推动国际社会成为一个互联互通的命运共同体。互联网的普及无疑是当代中国，乃至当代世界，最引人注目的划时代进步。第页第页2016年里约奥运会上，面对劲敌塞尔维亚队，中国女排总教练郎平喊出了时代最强音。一定要在网上解决问题！作为20世纪最伟大的发明之一，互联网给人类发展带来新机遇，也给社会管理/国际治理带来新挑战。成也互联网，败也互联网！第8页2015年3月，第十二届全国人民代表大会第三次会议上，李克强总理首次提出“互联网+”行动计划。今年3月通过的《”十三五“规划纲要》中明确提出：实施“互联网+”行动计划，促进互联网深度广泛应用，带动生产模式和组织方式变革。2015年12月16日，第二届世界互联网大会上，国家主席习近平强调：“十三五”时期，中国将大力实施网络强国战略、国家大数据战略、“互联网+”行动计划，让互联网发展成果惠及13亿多中国人民，更好造福各国人民。2016年4月19日,中共中央总书记、国家主席、中央网络安全和信息化领导小组组长习近平主持召开网络安全和信息化工作座谈会,并强调:按照创新、协调、绿色、开放、共享的发展理念推动我国经济社会发展,是当前和今后一个时期我国发展的总要求和大趋势,一定要推进网络强国建设,让互联网更好造福国家和人民。乌镇峰会，被誉为互联网历史上的“里程碑”，是中国积极搭建的互联网领域国际交流的“中国平台”。互联网将全世界紧密联系起来，正在重塑世界经济、政治新格局。互联网对管理、生产和生活的改造，已经成为促进世界经济、政治转型的动力。中国以构建网络空间命运共同体作为探索制定新的国际网络规范和治理体系的重要抓手，充分体现了中国作为网络大国的担当，也体现了中国主动参与国际事务，积极提供中国方案，造福各国人民的良好愿望。第11页得互联网者得天下。未来的货币流、信息流、产品流都依靠互联网去完成。互联网是社会发展的新引擎，社会治理最好的工具，更是深化改革的重要抓手。虽然中国互联网1994年才接入世界，但今天的中国互联网产业已经成为世界公认的互联网强国，与美国并驾齐驱，，一起包揽了全球互联网公司前十强，其中美国占有六席：谷歌、脸谱、亚马逊、易贝网、Priceline、雅虎，中国占四席：阿里巴巴、腾讯、百度、京东。腾讯将“人”和“人”连接起来；阿里巴巴将“人”和“商品”连接；百度将“人”和“信息”连接，形成了中国互联网的三足鼎立之势。第12页2016年10月，中共中央总书记习近平在主持学习实施网络强国战略时强调，“以推行电子政务、建设新型智慧城市等为抓手，以数据集中和共享为途径，建设全国一体化的国家大数据中心，推进技术融合、业务融合、数据融合，实现跨层级、跨地域、跨系统、跨部门、跨业务的协同管理和服务。”2015年底，李克强总理在政府工作报告中强调：要打造智慧城市，改善人居环境，使人民生活更安心、更省心、更舒心。第13页第14页成立由发改委牵头、25部门参与的新型智慧城市建设部际协调工作组，出台《新型智慧城市建设部际协调工作组制度》和《新型智慧城市建设部际协调工作组2016-2018年任务分工》等相关文件。第15页目标：完善部际协调工作机制，研究解决新型智慧城市建设过程中跨部门、跨行业的的重大问题。任务：1、开展新型智慧城市建设，分3年组织建设100个新型智慧城市。2、加强智慧城市顶层设计。3、指导各地区开展政务大数据应用4、指导各地区开展智慧时空基础设施建设与应用5、指导各地区开展各类专题应用，如：智慧医疗、智慧教育、智慧旅游、智慧交通、智慧社区、智慧水利、智慧城建、智慧医药、智慧生态、智慧能源、智慧农业等。第16页智慧城市大数据互联网+第17页网络的本质在于互联，信息的价值在于互通。因此，无论是互联网+，还是智慧城市，从顶层设计到基础设施，再到运营管理，都必须坚持以大数据为主的思想。在“互联网+”背景之下，大数据已经成为智慧城市的核心资产。智慧城市建设的效用高低，很大程度上取决于大数据资产利用的深度与广度。没有大数据，就没有面向政务、商务、产业和民生的智慧应用，智慧城市也只能成为空中楼阁。第18页第18页第18页自“智慧地球”概念于2008年提出以来，整个地球都沉浸在如何变得更加智慧这个庞大的课题里。2012年3月29日，美国政府公布了“大数据研发计划”，以改进从海量和复杂的数据中获取知识的能力。同一天，我国科技部发布的“‘十二五’国家科技计划信息技术领域2013年度备选项目征集指南”把大数据研究列在首位。2012年5月，联合国对外发布了《大数据促发展：挑战与机遇》白皮书，探讨如何利用互联网数据推动全球发展。从此，大数据火了，大数据时代来了。各国专家，也是醉了，言必称大数据。各研究机构、大小公司，也不甘落后，纷纷拿出自己的大数据解决方案。各国政府也相继出台大数据发展战略。有钱就是这么任性：有条件要上，没有条件，创造条件也要上。第19页在互联网上，没有人知道你是一条狗。可是，在大数据时代，人人都在裸奔啊！第20页2、大数据的概念与内涵第页第页第22页第22页第22页2.1大数据的概念大数据（BigData），也称海量数据。其定义则众说纷纭，莫衷一是。高德纳(Gartner)：大数据是海量、高增长率和多样化的信息资产，需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力。亚马逊：大数据是任何超过了一台计算机处理能力的数据量。麦肯锡：“大数据是大小超出常规的数据库工具获取、存储、管理和分析能力的数据集”。就是让数据说话大数据就是算命第23页第23页第23页2.1大数据的概念《大数据时代的历史机遇》的作者赵国栋：大数据是在多样的或者大量数据中，迅速获取信息的能力。《大数据时代：生活、工作与思维的大变革》的作者维克托·迈尔-舍恩伯：“大数据是一种人们在大规模数据的基础上可以做到的事情，是人们获得新的认知，创造新的价值的源泉，也是改变市场、组织机构，以及政府与公民关系的方法。第24页第24页2.1大数据的概念显然，大数据尚未有一个确切的定义，不能简单地定义为数据大、数据多，或者数据复杂。人们对于大数据这一“新生事物”的理解是不一样的。或许，没有统一定义，本身就是对大数据最好的定义。真是所谓“你不说我倒还明白，你越说我越糊涂了”。幸运的是，这不影响大数据的迅速普及和应用。最后，一言以蔽之：大数据就是从（复杂、海量）数据中获取信息的能力，以及与之相关的所有事情的总和。《金刚经》顿悟：所谓大数据，即非大数据，是名大数据。第25页第25页第25页2.2大数据的特征国际数据公司（IDC）认为大数据具有4V特征，被业界广泛认可：•多样的数据类型•巨大的潜在价值•快速的数据流转•动态的数据体系•海量的数据规模体量大Volume时效强Velocity类型杂Variety潜在价值Value潜在价值：隐含的、非显现的模式、规则和知识等，需要通过技术手段去发现和提取。此4V，但见一V便是，不必悉具。第26页第26页第26页2.2大数据的特征IBM把大数据第4个V定义为Veracity(真实性，真假难辨)。所以，也可以说大数据有5V特征：体量、种类、速度、真实性和潜在价值。真正决定数据挖掘成败的是数据本身的质量，对于算法的合理使用和优化反而是次要的。第27页第27页第27页2.2大数据的特征《大数据时代》的作者维克托·迈尔·舍恩伯认为：与之前的数据统计分析能力相比，大数据在数量、性质和关系方面的基本特征如下：传统数据统计分析因果关系精确结论随机样本大数据分析相关关系模糊结论全体数据第28页第28页第28页2.3大数据本质上是一种创造性思维钱学森认为：人类的思维方式，除抽象(逻辑)思维之外，还有形象(直感)思维和灵感(顿悟)思维。形象思维与逻辑思维辩证统一，即为创造(性)思维,这是智慧之花。创造性思维，是原有知识与新知识的统一，设想与验证的统一，发现与发明的统一，科学与艺术的统一。大数据的“大”：不在数量，也不在结构，而在关系上：——从因果关系到相关关系，从定量到定性，从抽样到全体。——大数据即整体、全面，互联互通，相互影响，有机联系的数据。东方太极图西方衔尾蛇第29页第29页2.4大数据是人类思维方式的回归与变革大数据不仅仅是一项技术，更是思维方式、发展战略和管理模式的变革。对我们的生活，以及世界交流方式都提出了挑战。大数据开启了一扇窥视世界的一扇门：获取、展示数据，挖掘知识，洞悉未来。爱德华•图弗特，耶鲁大学统计学教授：这个世界的有趣之处，远胜任何一门学科。第30页第30页第30页2.5大数据的核心价值大数据的核心价值在于分析——洞察关系，发现规律和预测未来。通过对于海量数据进行采集、存储、分析和预测。在行业信息化工作中，以大数据应用为抓手，打造信息化大格局，促进转变思维方式、引领创新发展，促进了政府职能变革，为政府决策服务。在天气预报之外，还有多个领域是大数据预测大展拳脚的空间。比如体育赛事、股票市场、市场物价、用户行为预测、身体健康预测、疾病疫情预测、交通行为预测等等领域，大数据预测还可被应用在房地产预测、就业情况预测、高考分数线预测、选举结果预测、诺贝尔奖预测等等，大数据赋予人类具备可量化可验证的洞察未来的能力，正在打开一个时代。第31页第31页第31页2.6让大数据貌美如花的六大关键技术/能力预测性分析可视化分析数据挖掘算法语义引擎数据质量数据管理数据仓库可视化分析，可以直观地展示数据，让数据自己说话，让观众看到结果，是数据分析工具最基本的要求。数据挖掘算法，深入数据内部，挖掘价值，包括集群、分割、孤立点分析等算法。预测性分析，根据可视化分析和数据挖掘的结果做出预测性的判断的能力。数据质量和数据管理是，保障，通过标准化的流程和工具对数据进行处理。对业务数据整合，构建数据仓库是基础，通过数据抽取、转换和加载，并按主题对数据进行查询和访问，为联机数据分析和大数据挖掘提供数据平台。语义引擎，即从“文档”中智能提取信息，去解析，提取，分析数据的技术。第32页3、大数据案例赏析第33页3.0数据的艺术1）风暴之眼作者：ChristopherHillman，Teradata高级分析团队首席数据科学家。这一张可视化图表则记录了英国前首相玛格丽特·撒切尔夫人离世时的“推特风暴”。拥护者与反对者在Twitter上发表正反言论的状况。图中每个点都是Twitter的一个用户，凡是提及或是转推的行为，便会在点与点间产生连线，图的中心则是柴契尔夫人，很明显的这个图分出了上下两群立场不同的人。第33页Teradata，天睿公司，成立于1979年，是美国前十大上市软件公司之一。目前已经成为全球最大的专注于大数据分析、数据仓库和整合营销管理解决方案的供应商之一。以下案例选自其数据分析师的作品。第34页3.0数据的艺术，数据可视化作品集2）通话圈作者：ChristopherHillman，Teradata高级分析团队首席数据科学家。这幅画是从行动电话使用者的通话模式资料所制作的。每个点都代表一个使用者拨出的手机号码，愈大的点就代表这个号码被拨打愈多次。每条两点之间的线都代表着从一个号码拨打到另一个号码。第34页第35页3.0数据的艺术，数据可视化作品集3）担保圈之谜作者：张玉瑞，大中华区大数据事业部华东区的高级顾问。‘担保圈之谜’揭示了房地产开发行业所产