美发布《联邦大数据研究与开发战略计划》

美发布《联邦大数据研究与开发战略计划》2016-06-28数据观大数据有可能从根本上改善所有美国人的生活。为了从资源丰富的大数据中获得最大的效益，奥巴马政府于2012年3月29日推出了“大数据研究与开发计划”。在此基础上，美国又于2016年5月发布了《联邦大数据研究与开发战略计划》（以下简称“计划”），其目标是对联邦机构的大数据相关项目和投资进行指导。该“计划”主要围绕代表大数据研发关键领域的七个战略进行，包括促进人类对科学、医学和安全所有分支的认识；确保美国在研发领域继续发挥领导作用；通过研发来提高美国和世界解决紧迫社会和环境问题的能力。图片来源：NITRD•战略1：利用新兴的大数据基础、技巧和技术来创造下一代能力。计算和数据分析的进步将提供新的抽象概念来处理复杂的数据，并能够简化可扩展性和并行系统的编程，与此同时还可以实现最大的性能。计算机科学、机器学习和统计领域的根本性进步将促进灵活、迅速响应和预测性的数据分析系统的发展。深入研究众包、公民科学和集体分布式任务等社会计算将有助于发展可以使人类进行可能超出计算机能力范围的任务。与数据交互和数据可视化的新技术和方法将强化“人类—数据”的联系（接口）。•战略2：支持研发，以更好地探索和理解数据和知识的可信度，实现更佳决策，促进突破性发现并采取有信心的行动。在数据驱动型决策中提高透明度需要提供技术和工具支持，包括可以在决策过程中显示详细审计信息的工具。另外，还需要对元数据框架进行研究以保证数据的可信性，包括记录上下文和语义数据。在使用机器学习的数据驱动型决策和发现系统时，跨学科研究是必要的，这样才能研究清楚如何才能最有效地使用数据来支持和提高人类的判断力。•战略3：建立和加强对网络基础设施的研究，使大数据创新可以为机构使命提供支持。共同的基准、标准和指标对于一个运作良好的网络基础设施生态系统来说是必不可少的。参与式设计也是不可或缺的，它可以被用于优化基础设施的实用性并能将其影响降到最低。教育和培训对于个人能力的构建来说也是至关重要的：用户必须得到正确的教育和培训，这样才能充分利用提供给他们的工具。•战略4：通过促进数据共享和管理政策来提高数据的价值。大数据的规模和异质性为数据共享带来了巨大挑战，因此需要鼓励共享源数据、接口、元数据和标准，鼓励相关基础设施提高互操作性，提高现有数据的可访问性和价值，并增强结合数据集进行新的分析的能力。研究“人类—数据”的联系（接口）来说是必要的，研究可以支持灵活、高效和可用的数据接口的发展，适应不同的用户群体的特定需求。•战略5：了解大数据的收集、共享和使用方面的隐私、安全和道德问题。隐私、安全和道德问题是大数据创新生态系统中的关键因素。对于保护隐私和澄清数据所有权来说，新的政策解决方案可能也是必要的。当高度分布式的网络在大数据的应用场景变得越来越普遍时，技术和工具也需要被用于辅助评估数据的安全性和数据保护。国家必须在大数据中提倡道德观念，确保技术不会传播错误或对某些群体造成不利（无论是明示或暗示）。探索道德问题的大数据研究，将使各方利益相关者在关注大数据创新的效用、风险和成本的同时，更好地考虑价值和社会伦理。•战略6：改善全国的大数据教育和培训局面，以满足对更广泛劳动力深层分析型人才和分析能力日益增长的需求。制定一个全面的教育战略是必要的，这可以满足大数据领域对劳动力不断增长的需求，还能确保美国保持经济竞争力。随着科学研究领域的数据越来越丰富，科学家需得到机会进一步完善自身的数据科学技能。所有部门的员工和管理人员都需要参加各种培训，包括“新兵训练营”、专业研讨会和证书课程，以学习与工作相关的大数据知识。还需要开设更多的基础性大学课程和其他短期培训来帮助将更多民众改造成为具备数据能力的公民。数据科学训练应该通过在线课程、公民科学项目与中小学教育覆盖到所有人。•战略7：创建和加强国家大数据创新生态系统的联系。应该建立持续的机制来提高联邦机构在大数据领域进行合作的能力。第一种可能的机制是建立跨机构“开发沙盒”或测试平台，它们可以帮助联邦机构合作开发新技术，并实现研发成果的产业化。第二种机制是制定政策，允许数据进行跨部门边界的快速和动态共享，以应对紧急优先事项，如国家灾害。第三种机制是建立大数据“基准中心”，专注于重大挑战的应用，并帮助确定必要的数据集、分析工具和互操作性要求，以此来实现关键的国家优先目标。第四，需要建立一个由各联邦机构从业者组成的强有力团体，以此来促进快速创新，为研究投资带来最大的回报。【相关阅读】美国：大数据国家战略“数据是一项有价值的国家资本，应对公众开放，而不是把其禁锢在政府体制内。”——美国联邦政府作为大数据的策源地和创新引领者，美国大数据发展一直走在全球最前面。此中关键：1、动力首先是多年的技术沉淀和创新积累，包括从计算机革命开始以来的硅谷创新力和影响力，以及一大批的领军企业，包括谷歌、微软、EMC、SAP、微软这样的巨头，也包括像Facebook、Splunk、Teradata这些创新的公司，硅谷精神和创新力量在美国大数据发展方面的作用，是任何其他国家短期都无法复制和匹敌的巨大力量。而且，自上世纪以来美国国会、政府先后出台一系列法规，对数据的收集、发布、使用和管理等诸环节都做出了具体的规定。经过几十年的修改完善，如今美国数据、信用和隐私已形成较为成熟的法律框架和道德规范。2010年，美国国会通过更新法案，进一步提高了数据采集精度和上报频度，使得美国数据采集和汇聚体系更加成熟。美国企业也拥有对于数据重视和应用的历史传统，IT基础设施的完善，以及各种精准营销理论和实践美国都是走在世界前列，比如基于消费数据、信用卡数据挖掘的精准营销等，还有电话、DM印刷品和邮件营销在美国都很兴盛，随着互联网兴起，谷歌、IBM、YAHOO等美国企业对基于网络的精准营销又是走在全球的前列。因而大数据最典型案例中，就包括传统企业沃尔玛“啤酒+尿布”案例，以及谷歌公司通过大数据分析成功地预测流感爆发等。更加重要的是美国政府数据开放和支持力量。美国政府的数据开放一直是走在全球前列的，尤其是在奥巴马政府签署《透明和开放的政府》文件之后。2012年5月美国数字政府战略发布，更是提出要通过协调化的方式，以信息和客户为中心，改变联邦政府工作方式，为美国民众提供更优公共服务。其中关键，就是政府必须保证美国民众可以随时随地通过任何平台或设备获取政府信息和公共服务。2、数据开放美国最重要的数据开放平台就是奥巴马政府在2009年推出的Data.gov，Data.gov也是美国“开放政府”承诺的关键部分。依照原始、地理数据和数据工具三个门类，截至2012年11月，Data.gov共开放出了388529项原始数据和地理数据，涵盖了农业、气象、金融、就业、人口统计、教育、医疗、交通、能源等大约50个门类，汇集了“从家庭和企业能耗趋势分析到全球实时地震通知等，甚至还可以查询从好奇号火星漫步者发回来的数据中得知火星的天气情况”。为方便公众使用和分析，Data.gov平台还加入了数据的分级评定、高级搜索、用户交流以及和社会交网站互动等新功能，比如在Data.gov上提供的白宫访客搜索工具，不仅能够搜索到访客信息，并可以将白宫访客与其他微博、社交网站等进行关联，进一步增加了访客的透明度。为了更方便民众使用，方便应用领域的开发者可以利用这些数据开发应用满足公共需求或者进行创业，Data.gov还汇集了1264个应用程序和软件工具、103个手机应用插件。另外，Data.gov还发布了政府API索引，使得这些资源可以更易找到和便于使用。通过开放API接口，Data.gov让政府的信息和服务交付更加便捷，也让公众和企业家在构建更佳政府、提升服务的过程中成为合作伙伴。美国政府也希望并鼓励公众(开发者、创业者和企业家)能够积极加入进来，成为这一进程中的一部分。据报道有很多的公司已经利用data.gov上提供的气象信息来提供服务，另外一些公司则基于data.gov上的地理位置信息，提供基于位置的服务来盈利。今年起美国还和印度一道，对data.gov实行了开源，把代码托管到GitHub上以供各国的开发者使用或者根据需要修改。通过构建OGPL平台，提供开源的政府平台代码并允许任何城市、组织或者政府机构创建开放站点，美国政府可以进一步推动数据开放运动进程。美国政府还成立了“数字服务创新中心”，开发了Sites.USA.Gov网站来帮助各机构建设即插即用型网站，同时政府出台移动应用程序开发项目，帮助各机构对移动应用程序进行规划、测试、开发和发布，确保更加安全和高效。美国政府提出，数据是一项有价值的国家资本，应对公众开放，而不是把其禁锢在政府体制内。例如在美国网站上，公众能够逐条跟踪、记录、分析联邦政府每一笔财政支出。另外，美国政府数据开放也跟美国民众对于个人隐私和自由的重视和立法分不开的，正如涂子沛在《大数据》一书中所指出的，和美国人“用纳税人的钱收集的数据应该免费提供给纳税人使用”观念也密切相关。3、数据服务为了确保美国民众能方便快捷地找到政府服务栏目，美国在各联邦政府层面实施了“数字分析项目”。“这是政府IT部门第一次摸清公众都在网站上寻找什么信息、在哪里寻找这些信息，以及他们是否能够顺利找到信息等情况。”政府IT部门还对联邦政府网站在移动设备上的使用进行了优化，并开发了移动应用程序，确保美国公民随时、随地、通过任何设备都能获取政府信息。例如，美国人力管理办公室开发的USAJobs应用程序，可以方便求职者通过移动设备查找和申请职位；交通部开发的SaferBus应用程序，可以让老百姓查询到公交公司的安全行驶记录，也可通过手机提交投诉建议。佛罗里达州迈阿密戴德县将数十种关键县政工作和迈阿密市紧密联系起来，帮助政府在制定治理水资源、减少交通拥堵和提升公共安全等方面决策时提供了更好的信息支撑；美国中央情报局的首席技术官格斯·汉特在旧金山举行的一次讨论会上解释的大数据技术对追踪恐怖分子和监控社会情绪的作用。汉特认为，就像可口可乐等消费公司借助数据分析掌握消费者习惯一样，中情局也通过大数据技术来寻找恐怖分子的踪迹。西雅图儿童医院通过应用可视化数据分析技术，有效减少了医疗事故，帮助医院节省了300万美元的供应链成本。华尔街“德温特资本市场”公司则通过分析3.4亿微博账户的留言，判断民众情绪，并依据人们高兴时买股票、焦虑时抛售股票的规律，决定公司买卖股票的时机，从而获取盈利。这些都是美国大数据各个领域应用的典型案例。4、推进开放数据、创新驱动以及技术研发支持下，美国大数据的研究和应用已是走在全球前列。2013年5月，奥巴马政府更是宣布了“大数据的研究和发展计划。”提出“通过提高我们从大型复杂的数字数据集中提取知识和观点的能力，承诺帮助加快在科学与工程中的步伐，加强国家安全，并改变教学研究”。根据这一计划，美国希望利用大数据技术在多个领域实现突破，包括科研教学、环境保护、工程技术、国土安全、生物医药等，具体的研发计划涉及了美国国家科学基金会、国家卫生研究院、国防部、能源部、国防部高级研究局、地质勘探局等6个联邦部门和机构。在斯坦福这样的大学里也开始开设诸如机器学习这样全新的课程，培养下一代的“数据科学家”。伯克利加州大学、迪肯大学等大学也专门开设了研究大数据的相关课程。如今，美国不仅是全球首个将大数据从商业行为上升到国家意志和国家战略的国家，也是数据科学家和面向未来的大数据人才储备启动最早的国家。2013年2月27日，由TechAmericaFoundation发布的一项新研究显示，87%的联邦政府IT官员以及75%的州政府IT官员均认为，大数据对政府工作发挥着立竿见影的实际作用。而由民意调查机构PennSchoenBerland进行的调查显示，在受访的近200位联邦IT官员中，有83%的联邦政府IT官员表示“大数据解决方案可帮助政府削减至少10%的联邦预算”，这些受访官员还相信，“大数据还能通过改善医疗服务，创造挽救生命的奇迹，并可以降低犯罪率并提高生活品质”。美