开放数据：概念、现状与机遇--开放数据中国

开放数据：概念、现状与机遇开放数据中国注：本文之修订版本刊载于《大数据》期刊2015年第2期，谢绝一切转载今时今日，我们正身处一个”数据革命”（DataRevolution）的时代，见证着科技和数据结合如何改善我们生活质量，提升政府治理能力，刺激商业发展，并催化社会创新。而在这一“数据革命”的过程中，数据的自由流通无疑是最为关键的一环，数据孤岛必须得以打破。开放数据（OpenData）运动正是在这样一个时代背景下所诞生的，这项运动致力于将原本开源世界（OpenSource）的开放理念移植到数据孤岛问题中，提倡并号召解锁政府、企业、非营利机构、甚至特定的个人数据。而在现阶段，开放数据更多意味着开放政府数据，其最主要的目标正是世界上最大的数据孤岛——一座由政府数据构成的封闭岛屿。因此本文中将主要从开放政府数据的角度来谈论开放数据目前的发展现状和机遇。开放数据是什么要理解开放数据，我们不妨先来了解一下开放究竟意味着什么？根据英国开放知识基金会（OpenKnowledge）的定义，开放（Openness）意味着三项基本元素：1）非歧视性：数据若开放，则其对任何人都开放2）机器可读性：数据若开放，则其应提供在机器可读格式下（例如，对于表格数据，应该采用CSV而非PDF）3）开放授权性：数据若开放，则其对应授权条款应确保使用者自由免费访问、获取、使用、加值、演绎、拷贝、传播的权利基于上述定义，不难看出，开放数据相较于数据共享而言，其更秉承着开源世界所倡导的平等、自由的价值观。开放数据所强调的非歧视性和开放授权性，打破了传统数据共享中所设定的“共享条件”和“特定共享方”的限制。而相对于政府本就一直推行的信息公开而言，开放数据所强调的机器可读性以及其明确赋予数据使用者的自由加值利用（包括商业使用和非商业使用）和分享传播权利则更好地刺激了公众对政府数据资源的需求，并鼓励公众对政府数据加值利用。透明化：开放数据的原动力开放数据有别于信息公开，更有别于数据共享，也因此它所要求的非歧视性、机器可读性、开放授权性对于数据提供者都提出了更高的要求。而这也意味着数据提供者需要背负更高的成本来确保数据开放在正确的格式与协议之下，并且承担可能的直接经济收益的损失（即损失了原本通过数据交易可得的利益）。在这样的情况下，如何去推动政府中的各数据提供者开放数据呢？如果我们将开放数据运动比作一场马拉松的话，那么开放数据运动的前半程则完全由政府透明化在推动。事实上，最早开启开放数据运动的美国就是以2009年奥巴马签署的《开放政府指令》（OpenGovernmentDirective）为基础，朝着让政府更透明、让民众更好监督政府运作的方向在推进开放数据的发展。而在这个过程中，政府预算、政府支出、政府选举三项数据是开放政府数据计划中的重点对象，也因此，美国奥巴马政府在2014年进一步推动了《数据法令》(DataAct)的通过，从而加强政府预算和支出数据的开放。美国自然不是唯一通过开放数据实现政府透明的国家，根据开放政府伙伴计划（OpenGovernmentPartnership）的记录，目前全球共有超过60个国家加入了伙伴计划，而作为伙伴计划成员其中一需要承诺的便是开放政府数据，从而通过数据开放实现政府的透明化，帮助民众问责政府。公众对政府透明化的诉求，在欧美民主体制下变成了一股政府无法忽视的力量。这股力量对于政府数据的开放即是压力也是动力，从压力的角度来说，民选政府有义务推进政府透明化的进程，而在数据时代，自然必须要通过数据开放去加强透明化；而从动力角度来说，迎合公众对政府透明化的需求，率先开展政府数据开放从而使民众得以自由了解并监督政府，则可以为主要的行政长官赢得政绩，更可能赢得未来民众的选票。因此在这样的前提下，前文所提到的阻碍，无论是清洗并转化数据格式的成本，或是无法再交易数据的损失，都将因为开放数据所带来的政治资本收益而得以突破。商业潜能，开放数据的加速剂然而，仅凭透明化所带来的动力并不能推动开放数据运动走向终点。随着民众对政府数据的需求日益增长，开放数据的倡导者和实践者们不得不开始正视随之而来的巨大成本压力。而另一方面，透明化的主题并非企业和创业者所感兴趣的，若要进一步吸引这一群体参与推进开放数据运动，创建起正向循环的数据开放生态，那么就必须探索开放数据的商业潜能。也因此开放数据的倡导者和实践者逐步开始研究并宣传开放数据的经济价值，希望借此吸引商业人士的注意和参与。2013年，国际知名的咨询公司麦肯锡发布了名为《OpenData:Unlockinginnovationandperformancewithliquidinformation》的研究报告，它指出全球每年因开放数据释放的经济价值可以达到3万亿美金，这其中不仅包含了因开放数据创造的新财富，也包含了因开放数据可以节省的开支。而在2014年，知名慈善创投基金OmidyarNetwork聘请澳大利亚咨询公司LateralEconomics就开放数据经济潜能进行研究，其发布的报告《OpenforBuisness:HowOpenDataCanHelpAchievetheG20GrowthTarget》指出，综合G20各国的经济，开放数据将在未来五年中实现总额为13万亿美金的增长。因此，开放数据将能在未来5年中为G20国家贡献大约1.1个百分点的GDP增长，这将占到G20未来5年GDP增长目标（2%）的55%。无论是麦肯锡报告所提到的3万亿美金，又或是LateralEconomics提到的13万亿美金的增长，都预示着开放数据所能带来的巨大经济价值。而经济价值的实现一方面来自于市场因数据开放透明而节省的成本开支，另一方面也来自于开放数据所激活的新兴创新市场。如果套用当下“互联网+”的提法，开放数据所激活的新兴创新市场实际就是在做“开放数据+”的工作，通过结合开放数据，一些传统的行业得到改变，而另一些创新的应用服务也成为可能。开放数据驱动的企业在今年初，英国开放数据研究院（OpenDataInstitute，后文简称ODI）针对英国企业使用开放数据的情况进行了调研。在他们调研的270家企业中，虽然70%属于小微企业（10人以下公司），但大型企业（占8%，250人以上公司）也不乏使用开放数据的案例。而另一方面，虽然如前文所述开放数据开辟了大量新的创新领域，促使大量创业公司得以诞生，但ODI也发现，一些已经建立10年以上的企业（39%）也加入了开放数据的利用之中。尽管目前使用开放数据来创建服务的企业都相对很小，但其中也有一些已经成长飞快，成为有显著经济价值的企业，比如:Zillow，作为一家市值30亿美金的公司，它创建了一个在线房产交易平台供房屋产权人、购买者、售卖者、租赁者、中介、出租者、贷款经纪,、房产经理等发现并分享房产及周边相关(例如贷款)信息。整个平台由一个记录了超过1.1亿美国房产的数据库在驱动，这个数据库中既有挂牌出售的房产也有未挂牌的房产信息。Zillow将美国政府开放的土地交易记录、房屋交易记录、房屋整修记录、治安状况等有关社区状况的开放数据整合进原有平台，建立更为合理的房屋估值模型。ClimateCorp，于2013年10月被Monsanto以9亿3千万美金收购。它利用美国政府免费开放的60年农作物收成数据,美国超过1百万个气象监测站的气象数据以及14TB的土壤质量数据为农民提供农业种植和金融决策辅助信息。它的一款主打产品是“全气候保险”，这款保险产品将在系统预测有恶劣天气时自动赔付农民的损失而不需要农民举证实际损失。ClimateCorp是2006由两名前Google员工创建的，它每天要利用从22个数据集中经过高级数据分析产出的3百万数据资料。这些数据来自不同的第三方机构，比如美国气象局，并且这些数据都是免费自由重复使用的。开放数据的商业模式上述开放数据的企业案例也使得开放数据的倡导者得以洞察几类常见的商业模式，在世界银行高级开放数据顾问AndrewStott所写的《OpenDataForEconomicGrowth》报告中，商业模式被归纳为5类:供应者(Supplier)此类指的是发布开放数据供第三方使用和重利用的企业和机构。这里不单单包括公共部门也包括私营企业，比如英国铁路运营公司(英国铁路为私人运营)。发布数据本身并不能获利，但发布数据却可能升用户忠诚度和参与度，从而间接获利。同时，供应者也可能通过自己对数据理解的优势来开发加值服务进而获利:比如德国统计局在08年10月开始开放其数据，而此开放数据项目帮助它的附加服务和咨询服务的营业额在两年内增长了95%。一些数据供应商，比如英国气象局，则采用双轨模式：一个免费版本，公众可以免费使用相应数据但只能得到有限的技术支持；一个收费版本，将相同数据授权在相同协议下，但提供有保障的技术支持。聚合者(Aggregator)此类指的是搜集并聚合开放数据,有时也包括封闭数据,的企业和机构。通常这都是面向一个特定垂直领域或地域的。比如，DataPublica就是一个法国一站式数据门户。Placr/TransportAPI就致力于打造英国第一个交通领域开放平台。OpenCorporates则聚合了全球81个国家的企业注册数据，目前共记录了66,665,508家企业数据。相应的商业模式有对聚合数据本身收费,提供额外的增值服务比如API,以及分级收费模式(比如数据提供在“以相同方式”授权模式下要求第三方整合数据后必须以相同开放授权开放新数据，若遵从则数据免费，如果需要无限制的授权则需要付费。)开发者(Developer)此类指的是设计、开发并售卖web应用或移动应用的企业或个人开发者。这些应用将开放政府数据通过吸引人的方式表现给终端用户以供方便使用。在纽约，单单地铁应用就有超过68个，而在伦敦，更有约500个公共交通应用使用开放数据。增值者(Enricher)此类指的是通过分析开放数据获取进一步洞见后再整合进相应面向终端消费者的服务或产品的企业或机构，通常这些服务和产品都是依靠开放数据而全新诞生的。前文提到的ClimateCorp正是属于此类商业模式。同样美国的Zillow和英国的Zoopla也属于此类。增值者可能属于所有商业模式中附加价值最高的一种，同时也是更容易在市场估值中得到认同的一类。赋能者(Enabler)此类指的是提供平台和技术来供第三方企业和个人使用的企业和机构。他们是开放数据生态的重要组成部分，在确保盈利的同时,他们向数据供应者和消费者提供高性价比、易于访问的服务。典型的例子有Socrata，一个面向政府提供软件即服务的开放数据门户解决方案的公司，以及类似的法国竞争者OpenDataSoft,以及Musigma和Cloudera这种提供数据分析服务和平台的公司。孵化开放数据驱动的企业为了鼓励不同类型、大小的企业、初创公司、个人能够利用开放数据进行创新，并找到合适的商业模式来持续化自身的产品和服务，一批专注于开放数据的孵化器正在诞生。上文中所提到的英国开放数据研究院（ODI）便是此类孵化器的先驱之一。ODI作为一家由万维网之父蒂姆·伯纳斯-李所创办的非营利机构，得到了英国政府1千万英镑的投资，不但针对开放数据本身进行研究、培训和咨询，也提供创业企业孵化的服务。ODI在孵化过程中并不提供资金，但借助其创始人和执行团队与英国政府、学界、非营利机构之间的强大人脉网络，其能够帮助入驻孵化的创业企业解决最为核心的开放数据供给与质量问题，并提供合适的媒体、会议等宣传平台帮助这些创业企业曝光在大众的视野中，从而让他们更好地成长。如今，ODI作为孵化器已经成功孵化了11家创业企业，其中包含了整合并开放企业注册数据的OpenCorportates，以及整合并提供交通数据API的Placr。而在新一轮孵化项目中，12家新兴创业企业入驻ODI，这当中就包含了明星企业SpendNetwork，它的主要业务是整合并分析英国政府财政支出和采购数据，而之前让其获得瞩目的一个项目便是揭露出低效政府采购系统导致了2百亿英镑现金流的滞缓。同时，ODI这一轮的企业中也不乏从英国