美军大数据研发与应用综述

美军大数据研发与应用综述原创2017-04-05温永兴电科小氙电科小氙密切跟踪全球军事电子发展，及时提供军事电子行业重大政策、规划、装备、前沿技术和市场发展相关新闻与动态，奉献专业化述评与综述，全方位展示世界军事电子领域装备、技术与市场发展现状、方向和思路。1美军大数据技术发展概述互联网、物联网以及云计算技术的发展，带来了海量数据的聚集，促进了大数据的发展。大数据技术在民用领域已呈现迅猛发展之势，其在军事领域也蕴藏着巨大发展潜力和应用价值，已成为军事领域竞争新的制高点。大数据是信息时代信息爆炸性增长的产物，其特征可以用四个V来概括：（1）Volume，容量巨大，已从TB（太字节）级别跃升至PB（拍字节）；（2）Variety，数据类型纷繁，包括结构化、半结构化和非结构化数据，无规律可循；（3）Value，价值密度低，但隐含的价值巨大；（4）Velocity，处理速度快，在很多场合需要实时分析和处理。大数据技术就是从各种类型的数据中快速获得有价值信息的技术。对美军而言，大数据带来的问题越来越凸显，例如，美军已积累了总价值达数十亿美元的侦察机和战场传感器，随着这些传感器捕获数据量的激增，传感器数据存储、分析和融合的难度与挑战也与日俱增。美国政府和军方敏锐洞察到大数据技术的重要性，在大数据领域率先发力以抢占先机。2012年3月29日美国政府发布了全球首个国家层面的大数据战略——《大数据研究与发展计划倡议》，宣布将实施2亿美元的投资计划，推动数据提取、存储、分析、发现等领域的技术创新与工具开发。除了出台支持大数据研发的政策文件外，美国还实施了一系列计划，推动大数据在军事领域的应用。以美国防高级研究计划局（DARPA）为主导，美军启动了一系列有关大数据的研发项目，涵盖大数据基础技术、大数据处理平台和应用等诸多方面。美军大数据项目是美国国家项目的重要组成部分，美军期望通过推进大数据研发，强化数据处理能力，加速“从数据到决策”的进程，确保战场信息主导权。近年来，美军在大数据技术领域不断取得进展，目前，一些典型的军事应用已见雏形，部分项目已经投入实际使用。2美军大数据研发与应用项目2.1大数据基础技术研发美国国防部在国家大数据研发框架内，积极部署了以XDATA为核心的多项大数据研发项目，整体上构成了比较完整和全面的大数据研发布局。其中，一些基础技术涉及机器学习、数据挖掘、并行计算和可视化方面的前沿课题，虽尚未成熟，但美军持续资助以促进这些研发不断取得进展，维持其大数据技术的领先优势。DARPA支持的XDATA项目旨在开发用于分析大量半结构化和非结构化数据的计算技术软件工具，以便对国防应用中的大量数据进行可视化处理。该项目是美国政府大数据研发计划的重要组成，是美军推进大数据研发计划的核心项目。XDATA项目于2012年启动，是DARPA在大数据处理技术研究方面重要的基础性探索工作，此项目不针对特定情报或信息系统数据，而是面向非特定领域的数据，研究的是通用技术，并且很多研究成果将以开源的形式在互联网上共享，以此推动相关工具的发展，加快研究速度，并进一步扩大理论研究的影响力。目前，一些XDATA项目承研机构已经在数据可视化、基于分布式架构的机器学习和数据分析算法等方面取得了不少基础性成果。●数据可视化技术。数据可视化公司Kitware与哈佛大学、犹他大学、斯坦福大学等机构的研究小组合作开发名为VisualizationDesignEnvironment（VDE）的开源数据集成、查询和可视化工具包，在其XDATA@Kitware网站上公布了VDE在文档实体关系识别、SSCI预测数据库、Flickr元数据图等数据集上的可视化分析效果。●基于分布式架构的机器学习、数据分析算法。佐治亚理工学院在XDATA项目的支持下承担的任务主要是研究在大规模数据集上具有可扩展性的机器学习算法，包括基于分布式计算架构的快速数据分析方法。●开源计算工具。ContinuumAnalytics公司基于其在Python科学计算工具上的长期积累，进一步开发了新型计算技术和开源软件工具。2.2大数据平台研发美国防信息系统局（DISA）以及各军种正在大力开发基于云的大数据平台，并取得了新进展。（1）DISA开发支持赛博态势感知分析能力的大数据平台（BDP）2016年5月，DISA发布了《大数据平台和赛博态势感知分析能力》报告，提供一整套基于云的解决方案，用于收集DoDIN（国防部信息网）上的海量数据，同时提供分析与可视化处理工具以理解数据。其中，大数据平台（BDP）是DISA开发的分布式计算环境，用于支持数拍字节数据（来自DoDIN）的摄取、关联和可视化，而赛博态势感知分析能力（CSAAC）是部署在BDP上的一组分析工具、摄取码和数据结构，提供整个DoDIN运行和防御性赛博空间运行（DCO）的统一态势感知。CSAAC能提供迄今为止美国防部所能实现的最广泛、最全面的DoDIN活动视图，以支持决策并增强美国防部网络的整体安全态势。CSAAC能够提供以下几种类型的功能：●DoDIN运营与态势感知。以国防部企业邮件监控为例，CSAAC能够为运营人员提供近实时态势感知能力，从而快速掌握事故、具体配置状态以及邮件网关过滤等相关情况。●防御性赛博空间运行（简称DCO）。按指标作战（简称FbI）属于CSAAC之内的赛博空间运行能力之一。FbI能够帮助企业计算机网络分析人员利用自动化工作流审查网络威胁报告，提取潜在指标，面向未来进程提供警报并在必要时自动执行国防部对策流程。●异常检测。异常检测套件属于CSAAC功能之一，专门负责检测可能对敏感性国防部数据的完整性、机密性或者可用性造成威胁的已验证用户。这项服务还允许分析人员在检测到潜在内部威胁后向有关部门发出警告。CSAAC中的功能套件由大数据平台（BDP）负责实现。BDP是支持CSAAC的基础体系结构，作为一种开源解决方案，能够支持数据采集、关联以及虚拟化基础设施。BDP通用架构能够在数小时内被安装至数百台服务器。2016年8月，DISA发布了大数据平台（BDP）升级版。新版BDP将为操作人员提供在现行解决方案内找出聚焦任务的数据集以及针对特定数据运行定制聚集任务的分析工具的能力；将大幅提升为CSAAC快速开发、部署和使用分析工具的能力。（2）美海军开发的大数据云生态系统（“BIGDATAECOSYSTEM”）美国海军舰载传感器、飞机和其他平台产生大量的数据，但是这些数据没有被有效利用。为解决此问题，美国海军研究办公室欲采用突破性的分析工具建立海军大数据生态系统。2013年以来，美国海军组织开发了名为“海军战术云参考实施”（NTCRI）的大数据云生态系统平台，由数据分析组件和可视化界面提供相关作战环境和情况的所有数据的实时视图。这个平台系统融合了大数据、云计算和其他交叉学科技术，并且实现了多种分布式文件系统（Hadoop等）和作战系统。该系统主要包含以下功能：●通用数据基础表征。海军作战大数据是完全多源异构的。“多源”指来源广泛，如IT系统、机载或舰载传感器等；“异构”指数据类型多样，如双方作战目标、战术意图、气象水文、网络舆情等，该部分功能旨在建立科学、通用的海军作战数据基础体系架构，用于不同机构间多源异构大数据的表征和共享。●分布式数据存储与索引。主要目的是存储作战数据，建立索引以便快速查询，通过海军的云环境利用大量的数据集。●数据作战分析。这部分是海军大数据生态系统的核心，目前美国海军主要通过开发先进的分析工具支持反潜作战和一体化防空反导作战，提升大数据对海军作战的效果和能力，探寻利用大数据增强威胁评估预警、作战识别、一体化作战和任务计划以及执行能力的途径。●系统抗毁性防御组件。任何系统都要具备抵抗攻击的能力，由于数据在采集、整理、存储、传输、分析的过程中都可能遭到攻击甚至篡改，因而，抗毁性防御组件是贯穿整个大数据生态系统的。组件主要通过利用云计算的安全性和完整性，增强海军大数据生态系统各模块的防御能力。2.3典型应用项目在大数据时代，数据将会成为影响和决定军事行动的重要力量源泉。因此，数据搜集、分析和处理能力，以及基于数据作出的决策将会是未来战场上的制胜关键。大数据应用，尤其在联合作战中，可以极大地提高信息掌控优势，从而提升军事情报侦察预警能力；在指挥控制领域，还将显著增强数据的智能处理和指挥控制能力，从而有效提高体系对抗水平。近年来，美军已将大数据技术应用到诸多领域，包括ISR、作战指挥、后勤、赛博领域等。（1）ISR领域现代战争中不仅要及时收集、分发战场数据，针对强对抗环境，还需要将海量实时数据进行预处理，挖掘出有价值的信息，并通过信息融合形成情报，从而及时判断出敌方的作战企图和兵力部署，拨开“战争迷雾”，真正做到“知己知彼”。美军通过多年的发展，已拥有全球最先进的情报侦察系统，对海量情报数据的分析，一直是美军情报侦察能力的短板，而大数据正好能够帮助美军突破这一瓶颈。基于大数据分析的情报搜集技术在管理海量数据并使分析人员专注重要工作方面具有极大潜力。基于大数据应用的情报搜集系统如图1所示。在此领域的典型项目包括DARPA的“洞察”（Insight）项目、美空军的“大数据集处理利用与分析”（PEALDS）项目等。图1基于大数据应用的情报搜集系统1）DARPA的Insight项目此项目旨在开发一个集情报、监视和侦察于一体的系统，该系统将能使分析人员有目的地把互不相干的“烟囱式”信息源整合成一个统一的战场图（如图2所示）。图2Insight项目开发的系统可将“烟囱式”信息源整合成统一的战场图该项目的第1阶段创建了基线系统，最初重点关注反恐行动。第1阶段的承包商是BAE系统公司电子解决方案部和科学应用国际公司（SAIC）。在第1阶段中，BAE系统公司和SAIC公司启动了下一代ISR数据采集和资源管理系统（E&RM）的设计，该系统有助于美军情报专家们探测网络威胁、非常规性战争和恐怖主义行动。BAE系统公司和SAIC公司建立了基于模型的行为相关性分析工具、建模工具、预测和威胁网络分析工具，自动把来自多种不同信息源的情报信息综合起来，提高了多源情报传感器的工作效率。他们已开发出联合数据管理和处理环境，将新型情报传感器数据和软件算法综合起来。该项目的第2阶段于2013年8月启动，总价值为8000万美元。第2阶段的目标包括：使第1阶段开发的能力更加成熟，提高数据采集和资源管理系统（E&RM）系统的适用性，扩展任务空间；探测识别敌方网络，汇集所有可能的来源信息，包括军事情报资料库、人员报告以及海陆空天传感器。Insight项目开发的系统采用基于标准的开放式即插即用体系结构，支持当前和未来ISR技术的快速集成。目前，该项目已供美陆军和空军使用。2）美空军开发的PEALDS项目目前美国国防部和大型企业面临的主要挑战是数据集成以及掌握从多个传感器收集数据并将数据输入一个单独的管理系统中进行分析和提取的方法。基于此，2013年Logos技术公司与美空军研究实验室信息部共同开展了大数据集处理利用与分析（PEALDS）项目。PEALDS的目标是使观察者能快速对TB的传感器数据进行筛查，为战场士兵提供可行动的信息。美空军可利用大数据工具PEALDS创建战场态势图或关注区域的态势图，并对其进行实时监控、存储和回放。通过将传感器数据流与数据标签和趋势探测软件相结合，分析专家和战场士兵可进行观察、跟踪并根据所观察到的行为预测敌方部队的行动。在PEALDS项目中，Logo公司运用了大型图像存储技术提供三维建模和广域数据绘图的算法和软件。（2）作战指挥指挥信息系统的信息处理速度、目标态势获取时间、决策周期以及快速响应时间决定着军事行动的成败。大数据在作战指挥领域的广泛运用，开启了“从数据到决策”的指挥新模式。美国防部大数据应用重点项目——“从数据到决策”项目旨在通过构建快速准确分析数据的算法模型，将海量数据进行实时、自主关联和整合、认知，挖掘出有关目标威胁、航迹跟踪、火力打击等重要的情报信息，并提供面向任务可理解的决策，使军队中情报分析人员和指挥官能够以极高的速度理