培育数据文化,推动时空大数据应用发展河南省时空大数据产业技术研究院智慧中原地理信息技术河南省协同创新中心培育数据文化,推动时空大数据应用发展主讲人:王家耀2017中国地理信息产业大会数据文化及其作用和意义自信:变“后发优势”为“现实优势”我国大数据发展现状010203深化时空大数据应用发展的思考04数据文化及其作用和意义01PARTONE数据与文化有着密不可分的内在联系。一方面,数据活动过程离不开一定的文化背景;另一方面,数据活动过程又直接影响到整个社会文化的面貌。可以这么说,数据活动过程已经形成了一种特殊的文化,即数据文化。当“一切靠数据说话,一切凭数据决策”成为一种社会现象时,不就是数据文化的形成吗?“数据文化”由“数据”与“文化”两个概念组合而成。“数据文化”既不全等于“数据”,又不全等于“文化”,它是“数据”与“文化”的交集。“数据文化”是一种特殊的文化类型和文化现象。数据文化是尊重事实、强调精确、推崇理性和逻辑的文化。数据文化1、数据文化该书分为两部分,即小数据之历史和大数据的崛起。内容以美国为主体,横跨东西方两种文明阐述数据文化的形成、发展和未来。作者将美国200多年的历史划为7个时代:(1)《数据之巅》(涂子沛,中信出版集团,2014年5月)第一个百年的三个时代——初数时代、内战时代、镀金时代第二个百年的四个时代——量化时代、抽样时代、开放时代、大数据时代2、《数据之巅》的启示小数据之历史01初数时代02内战时代03爆发04量化05抽样时代01奠定共和02终结奴隶制的灯塔03镀金时代三重崛起04进步时代的数据大潮05统计革命的福祉01中国往事02兵家和数据03尘封的瑰宝04思考中国话题05世纪之问01第一次现代意义的人口普查02中国历史上的吉光片羽03中国的数据可视化先驱04民族复兴能否量化05日本行,为什么我们不行美国数据文化的形成发展与未来中国数据文化相对滞后大数据的崛起06开放时代07大数据时代08智慧城市06内开放的历程062012年06来自中国的组织创新07通向计算型的智能社会08正在拍打世界的浪潮总结:把握后发优势——把科技符号变成文化符号(2)美国数据文化的历史脉络和中国数据文化相对滞后2、《数据之巅》的启示2、《数据之巅》的启示美国开国至今不过200多年,但数据在国家生活中的历史几乎和其建国史相生相伴,准确地说是和其立宪同步,在解决政治体制和权力配置同数据之间找到了关系:人口普查。200多年前的美国第一次人口普查,拉开了这个新生国家初数时代的序幕。克服民主的劣势:用数据分权(1787年)。美国初数时代的标志制度创新:变对抗为合作的魔法棒人口普查在制度建设中的地位两党之争:无法精确分割的权力1790年国会成立了人口普查委员会,人口普查导出“统计学的三大重要命题”亚拉巴马悖论:没有完美的方案“数据分权”好是好,但不能保证完全公正落实有数初成:共和政治反哺数据文化初期的“用数据说话”和“凭数据决策”(3)解读和启示之一初数时代——奠定共和2、《数据之巅》的启示随着时间的推移,人口普查范围逐步扩大,出现了遍布国家各个功能领域的统计系统,导致1839年美国统计协会(ASA)在波士顿成立。人口普查:南方最大的敌人奴隶制的存废之争(1830年)。用数据辩论:南北战争的序幕人口普查的作用突破议员席位分配的局限性,引起废奴派和蓄奴派之争(1849年)。用数据远征:向大海进军南北战争后期的重要转折,数据在战争中扮演着极为重要的角色,算“人”、算“粮”,为作战指挥提供数据支撑,促进了以人口为核心的专题地图的发展(1861年)。政治计算:解放黑奴的真正原因1863年元旦,时任总统林肯颁布《解放黑奴宣言》,在全国范围内确定自由资本主义生产关系,为20世纪美国的崛起并成为世界第一强国奠定了基础。之二内战时代:终结奴隶制度的灯塔(3)解读和启示2、《数据之巅》的启示(3)解读和启示从1865年美国内战结束到1900年美国崛起的这一历史阶段,被称为“镀金时代”。美国的数据文化相继完成了思维、组织和技术的“三重崛起”(起点是1869年),影响了其后整整一个世纪。思维变革:用数据预测数据不仅代表事实,还隐藏着社会发展的规律,通过数据不仅能总结过去,还能预测未来,要治理好社会,就必须用好数据。众议员詹姆斯·加菲尔德有一句名言:“数据就是社会规律的载体,统计就是发现这种规律的手段”。组织变革:统计部门的组织架构不断完善在思维变革的推动下,统计学家的队伍不断扩大。1900年前后,美国中央政府形成了农业统计局、人口统计局、劳工统计局和经济分析局四足鼎立的统计机构格局。之三爆发:镀金时代的三重崛起世纪巅峰:大数据驱动技术创新站在1890年这个时间节点上,回顾过去、展望未来,可以清楚地看到美国社会迈进信息时代的全景。霍尔瑞斯的发明(打孔卡片制表机)→IBM的崛起(把美国带进了一个打孔卡片的时代)→第一台商用计算机的出现,都离不开人口普查产生的庞大数据,人口普查产业的大数据使一切发明和创新成为可能。这使人们坚信“市场需求才是真正的创新动力。”意义深远的是,这个需求却起源于100年前美国建国时的一个决定——1790年的第一次人口普查。2、《数据之巅》的启示(3)解读和启示随着“镀金时代”的崛起,美国经济实力和科学水平都进入了世界一流行列,但在工业化和城市化的急骤冲击下,美国社会也出现了严重的劳资冲突、政治腐败和道德失范,光辉的外表下掩盖着重重危机和大量矛盾,知识分子也分成了“革命”和“改良”两派。专家、科学和数据成为这个时代的主导,大众相信专家,专家主张用科学方法解决社会问题,而科学的落脚点一定离不开数据,于是各种数据的浪潮可谓奔涌而来,例如:1907年的“匹兹堡调查”(社会调查)、1908年的“布兰代斯诉讼法”(用数据审判)、20世纪10年代的测量个人智力水平、起源于治水的成本效益分析法,等等。量化掀起了进步时代的数据浪潮。之四量化:进步时代的数据浪潮2、《数据之巅》的启示(3)解读和启示梳理美国社会数据文化形成的过程,可以发现其政治制度对统计科学的影响不局限于“用数据分权”的制度安排,美国的选举制度也推动过统计事业的创新和数据知识的普及。20世纪30年代,对选举结果的预测和研究,催生了统计科学的一次重大革命:科学抽样。从选票到电影票:和《乱世佳人》共舞——科学抽样的成功用数据跨界:质量大师是怎样炼成的盖洛普的科学抽样完成了从政治领域到商业领域的华丽转型。“质量管理之父”的爱德华·戴明主张“生产过程中进行质量控制”:物理→统计→管理。旋转质量的飞轮:日本崛起“二战”后的日本一片废墟,一度失去了主权国家的地位(1945-1952),但出人意料的是,仅在15年之后的1960年,日本就超越了联邦德国,一跃成为全球第二经济体。这其中,戴明及其倡导的“生产过程质量控制”功不可没。之五抽样时代:统计革命的福祉2、《数据之巅》的启示(3)解读和启示1951年,电子计算机走出象牙塔到20世纪80年代互联网的普及,数据得以在网络上快速流传、重复使用、互相整合,促成了开放时代的到来,包括“外开放”和“内开放”。前者,可以引进外部先进的思想、人才、技术和资金;后者,指数据公开,使之成为重要的生产资料和创新的资源。内开放的程度,将决定一个国家发展的动力和创新的动力。在半个多世纪的历程中,美国的内开放经历了三个截然不同的阶段:内开放1.0(1960时代)——数据承载知情权;内开放2.0(1980时代)——用数据制衡;内开放3.0(2000时代)——用数据推动技术创新。之六开放时代:内开放的历程2、《数据之巅》的启示(3)解读和启示数据最早来源于“测量”,没有“测量”就没有科学,没有数据也没有科学。随着信息技术发展,数据总量在不断增加,且增加的速度不断加快,人们称之为“大数据”。摩尔定律,使得人类保存数据的能力增强;社交网络,使得人类生产数据的能力增强;数据挖掘,使得人类使用数据的能力增强,称之为“改变世界的三股力量”,这就是大数据时代的到来。有数据,必须有计算,这就是计算型社会的兴起,越来越多的社会问题都可以通过计算来解决,同时物理环境领域的计算也面临着一些革命,安置在各类物体上的传感器,万物皆联网,无处不计算,这就是普适计算。无人(自主)驾驶,让数据训练机器使之获得智能,通过大数据的整合和挖掘发现知识,实现“1+12”的增值效果。“数据+计算+3D打印+众包”将导致第三次工业革命。大数据时代——通往计算型的智能社会。之七大数据时代:通往计算型的智能社会2、《数据之巅》的启示(3)解读和启示大数据不仅涉及自然科学,更涉及社会人类科学,不仅涉及社会经济,也涉及内政外交和国防军事。文化本质上是人类及其社会的品格,或一个国家及其社会的品格。数据文化是人类及其社会对待数据(事实)的品格。从美国现实内外政策造成的现实社会状况来看,我认为美国的数据文化正在倒退。对内,白人至上主义导致的社会分裂和种族冲突愈演愈烈;对外,美国执行单边主义、霸权主义,造成世界动荡和混乱。我们是否需要用大数据思维来分析和判断?思考3、《大数据十大新名词》的前瞻随着互联网、物联网、云计算特别是智能感知技术的发展,开启了一切皆可“量化”的进程,各国实施数字化战略,标志着一个新的时代的到来。在2017年5月25日的贵阳大数据博览会期间,全国科学技术名词审定委员会、贵阳市人民政府主办的“大数据十大新名词”发布暨《大数据百科全书》启动仪式。01块数据02主权区块链03秩序互联网04激活数据学055G社会06开放数据07081009数据交易数据铁笼数据安全数权法01颠覆传统的世界观、价值观和方法论02创新现代治理模式03让现实社会与虚拟社会更融合、更有序、更安全04为大数据时代提出了解决方案05让人类更好的感知世界06消除信息鸿沟、数字鸿沟和信任鸿沟07真正实现数据价值最大化08正成为技术反腐的先驱09放大无隐私时代和高风险社会的挑战10孕育并催生新的数字文明(1)《大数据十大新名词》发布3、《大数据十大新名词》的前瞻块数据,是把各种分散的(点数据)和分割的(条数据)大数据汇聚到一个特定平台上并使之发生持续的聚合效应。这种聚合效应就是通过多维数据融合和关联分析,揭示事物的本质规律,对事物做出更加快速、更加全面、更加精准和更加有效的研判和预测。(2)《大数据十大新名词》前瞻解读之一块数据:颠覆传统的世界观、价值观和方法论块数据是大数据的核心价值,是大数据发展的高级形态,是大数据时代的解决方案,是大数据时代真正到来的标志,是大数据时代的范式革命。3、《大数据十大新名词》的前瞻(2)《大数据十大新名词》前瞻解读区块链与互联网的结合,使互联网从无界、无价、无序走向有界、有价、有序。主权区块链的提出,将区块链发展和应用置于国家主权框架下,实现法律规制下的技术之治,在区块链可记录、可追溯、可确权、可定价、可交易的基础上,实现可监管。主权区块链将超越技术本身,重点解决国家、组织、个人的数据权属问题,推动形成互联网社会的共同行为准则和价值规范,由此将会创新一种从共识结构演变为共治结构,进而形成共享结构的治理体系。之二主权区块链:创新现代治理模式3、《大数据十大新名词》的前瞻(2)《大数据十大新名词》前瞻解读信息互联网带来了超越空间的信息传递、交换和共享,价值互联网推进了价值交换、转移和增值,而从信息互联网、价值互联网再到秩序互联网,将更加强调用规则来解决互联网的联系、运动和转化,建立新的全球互联网规则和互联网治理体系,逐步形成一种全新的人类社会组织方式和秩序文明,并使现实社会与虚拟世界更融合、更有序、更安全、更稳定。之三秩序互联网:让现实社会与虚拟世界更融合、更有序、更安全、更稳定区块链促进互联网治理的科学化,基于规则共识、行为共治、价值共享的秩序互联网,秩序互联网是国家的核心利益。3、《大数据十大新名词》的前瞻(2)《大数据十大新名词》前瞻解读激活数据学以发现块数据内海量复杂数据的潜在关联和预测为目标,以复杂理论的系统思想为主要范式,是块数据的核心运行机制,其基础是人工智能技术的飞速