多传感器数据融合技术综述

多传感器数据融合技术综述一、多传感器数据融合的定义数据融合技术（MultipleSensorInformationFusion，MSIF）又称信息融合技术，它的研究起源于军事指挥智能通讯系统，即C3I（Command，Control，CommunicationandIntelligence）系统建设的需求，早期研究也多来自于军事方面的应用。而随着工业系统的复杂化和智能化，该技术已被推广到民用领域，如医疗诊断、机械故障诊断、空中交通管制、遥感、智能制造、智能交通、工业智能控制及刑侦等等。作为前沿领域技术，无论是军用系统还是民用系统，都趋向于采用数据融合技术来进行信息综合处理。在知识爆炸的信息时代，数据融合技术就显得尤其重要，它能避免数据富有但信息贫乏的情况发生。数据融合是关于协同利用多传感器信息，进行多级别、多方面、多层次信息检测、相关、估计和综合以获得目标的状态和特征估计以及态势和威胁评估的一种多级信息自动处理过程。它将不同来源、不同模式、不同时间、不同地点、不同表现形式的信息进行融合，最后得出被感知对象的精确描述。数据融合其实也就是对数据的提取和处理，得出最终的有效信息。多传感器数据融合也就是用各种不同的传感器观测信息，然后将不同来源、不同形式、不同时间、不同地点的信息通过计算机技术，对按时间顺序获得的若干传感器的观测信息，用某种方法自动分析、综合，得到更加有效的信息。二、国内外研究概况美国国防部JDL（JointDirectorsofLaboratories）从军事应用的角度将数据融合定义为一种多层次、多方面的处理过程，即把来此许多传感器和信息源的数据和信息加以联合（Association）、相关（Correlation）和组合（Combination），以获得精确的位置估计（PositionEstimation）和身份估计（IdentityEstimation），以及对战情况和威胁及其重要程度进行了适时的完整评价。数据融合近三十年来取得了迅速发展，如今美国、英国、德国、法国、加拿大、俄罗斯、日本、印度等国都有学者和技术人员在开展数据融合技术的研究，这一领域的研究内容和成果已大量出现在各种学术会议和公开的学术期刊上，例如美国三军数据融合年会、SPIE国际年会、IEEETransonAES，IEEETransonIT，IEEETransonAC，IEEETransonSMC，IEEETransonIP，以及IEEE其他相关的会议和期刊中。当前，美国等军事强国的各类作战指挥自动化系统（C3I，C4ISRT）和战争情报收集系统中都有较强的数据融合功能。此外，美国三军、某些大公司、大学均建立了专门的实验系统，以开发、评估各种数据融合算法系统。为了进行广泛的国际交流，1998年美国成立了国际数据融合年会（InternationalSocietyofInformationFusion，简称ISIF），每年举行一次数据融合国际学术会议。从已发表的公开文献来看，我国1998年开始有关数据融合的文献才陆续多起来。随着国外数据融合技术研究的发展和计算机存贮能力的大幅度提高，近几年我国对数据融合方面的研究日益重视。已有一批高等院校和研究所展开了研究，比如四川大学研制的多航管雷达数据融合系统，该系统性能达到了世界领先水平，且已经实地运行于广州白云、深圳、成都双流等多家航空港。中科院遥感所开发的图像数据融合软件，已成功地应用在卫星地面站的图像分类与识别中。由于大批院校和研究所的技术投入，国内有关数据融合的研究取得了许多成果并已投入到应用当中，出现了许多热门研究方向，如多目标跟踪系统、有初步综合能力的多传感器数据融合系统等。目前新一代舰载、机载、弹载和各种C3I系统正在向多传感器数据融合方向发展，并将会有更多的多传感器数据融合系统投入到军事民用的各个方面中去。三、多传感器数据融合的基本原理多传感器数据融合的基本原理就像人脑综合处理信息的过程一样，它充分利用多个传感器资源，通过对这些传感器及其观测信息的合理支配和使用，把多个传感器在时间和空间上的冗余或者互补信息依据某种准则来进行组合，以获得被测对象的一致性解释或描述，使该信息系统由此而获得比它的各组成部分的子集所构成的系统更优越的性能。传感器之间的冗余数据增强了系统的可靠性，传感器之间的互补数据扩展了单个的性能。多传感器数据融合与经典信号处理方法之间存在本质的区别，其关键在于数据融合所处理的多传感器信息具有更为复杂的形式，而且可以在不同的信息层次上出现。四、数据融合的过程多传感器数据融合的过程主要包括多传感器、数据预处理、数据融合中心和结果输出等环节，其过程如图1所示。图1多传感器数据融合过程由于被测对象多半为具有不同特征的非电量，如压力、温度、色彩和灰度等，因此首先要将它们转换成电信号，然后经过A/D转换将它们转换为能由计算机处理的数字量。数字化后的电信号由于环境等因素的随机影响，不可避免的存在一些干扰和噪音信号，通过预处理滤除数据采集过程中的干扰和噪音，以便得到有用信号。预处理后的有用信号经过特征提取，并对某一特征量进行数据融合计算，最后输入融合结果。1、信号的获取多传感器信号获取的方法很多，可根据具体情况采取不同的传感器获取被测对象的信号。图形影响的获取一般可利用电视摄像系统或电荷耦合器件，将外界的图形景象信息进入电视摄像系统或电荷耦合器件变化的光通量传换成变化的电信号，再经A/D转换后进入计算机系统。2、信号预处理在信号获取过程中，一方面由于各种客观因素的影响，在检测到的信号中常常混有噪音。另一方面，经过A/D转换后的离散时间信号除含有原来的噪音外，又增加了A/D转换器的量化噪音。因此，在对多传感器信号融合处理前，常对传感器输出信号进行预处理，尽可能的去除这些噪音，提高信号的信噪比。信号预处理的方法主要有去均值、滤波、消除趋势项等。3、特征提取对来自传感器的原始信息进行特征提取，特征可以是被测对象的物理量。4、融合计算数据融合计算方法较多，主要有数据相关计算、估计理论和识别计算等。五、多传感器数据融合的层次在多传感器数据融合中，由于数据的多样化就需要按照数据的类型、采集的方式等特点或工程的需要有层次分步骤的进行融合，这就需要引入数据融合的级别问题。根据数据融合功能的抽象层次和数据流通方式及传输形式，把数据融合分为高层次和低层次处理。低层次处理包括数据的预处理，目标的检测、分类和辨识，目标跟踪。高层次处理包括态势和威胁估计以及对整个融合过程的提取。一般来说目标识别（属性）级融合有三个基本结构：即数据级融合、特征级融合和决策级融合结构。1、数据级融合（pixelbasedfusion）数据级融合也称象素级融合，就是直接到采集的原始数据层上进行融合，在多源数据未经预处理之前就进行数据综合和分析，这是最底层的融合。这种融合的主要优点是原始信息丰富，并且能提供另外俩个融合层次所不能提供的详细信息，因此精度最高。但丰富的原始信息也意味着数据级融合所要处理的传感器数据量巨大，处理代价高，耗时长，实时性差。数据级融合通常用于：多源图像复合、图像分析和理解，以及同类（同质）雷达波形的直接合成。数据级融合的主要方法有：HIS变换、PCA变换、小波变换等。由于这种融合是在信息的最底层进行的，传感器原始信息的不确定性、不完全性和不稳定性在融合时有较高的纠错能力。2、特征级融合（featurebasedfusion）特征级融合属于中间层次，它首先对来自传感器的原始信息进行特征提取，然后对特征信息进行分析和处理。一般地，提取的特征信息应是原始数据信息的充分表示量或统计量。其优点在于实现了可观的信息压缩，有利于实时处理，并且由于所提取的特征直接与决策分析有关，所以结果能最大限度地给出决策分析所需要的特征信息。特征级融合的方法有：Dempster-Shafer推理法（D-S方法）、表决法、神经网络法。这种方法对通信带宽的要求较低。但由于数据的丢失使其准确性有所下降。3、决策级融合（decision-levelbasedfusion）决策级融合是一种高层次的融合，其结果可为指挥控制与决策提供依据。因此，决策融合常常从具体决策问题的需求出发，充分利用特征级融合所提取的测量对象的各类特征信息，采用适当的融合技术来实现。决策级融合是三级融合的最终结果，是直接针对具体决策目标的，融合结果直接影响决策水平。目前，决策级融合方法主要有：贝叶斯估计法、专家系统、神经网络法、模糊集理法、可靠性理论以及逻辑模板法。由于对传感器的数据进行了浓缩，这种方法产生的结果相对而言最不准确，但它对通信带宽的要求最低。六、三中融合层次的比较数据级融合是最底层融合，是在对传感器原始信息未经过或经过很小处理的基础上进行的，它要求各个融合的传感器信息源具有精确到一个象素的配准精度的任何抽象层次的融合。其优点是能够提供其他两种层次的融合所不具有的细节信息，但也具有下述几个方面的局限性。1、由于它所要处理的传感器信息量大，故处理代价较大。2、由于传感器信息稳定性差，特别是在目标检测与分类时，故在融合时要求有较高的纠错处理能力。3、由于在该层次上的信息要求各传感器信息之间具有象素级的配准关系，故要求各传感器信息来自同质传感器。4、由于其通信量较大，故抗干扰能力较差。决策级融合的优缺点正好与数据级融合相反。其传感器可以是异质传感器，预处理代价较高，而融合中心处理代价小，整个系统的通信量小，抗干扰能力强。由于处理效果很大程度取决于各个传感器预处理的性能，而传感器预处理一般是简单的处理，其性能一般不太高，故融合中心的性能要比数据级融合性能差些。特征级融合是上述两种信息融合的这种形式，兼容了两者的优缺点。各层次融合的优缺点可用表1说明。表1融合层次比较一个系统采用哪个层次上的数据融合方法，要有该系统的具体要求来决定，不存在能够适用于所有情况或应用的普遍结构。对于多传感器数据融合系统的特定的工程应用，应综合考虑系统的性能、系统的计算能力、通信带宽、期望的准确率以及资金能力等因素，以确定哪种层次是最优的。另外，在一个系统中，也可能在不同的融合层次上进行融合，一个实际的融合系统是上诉三种融合的组合，融合的级别越高则处理的速度也越快，信息的压缩量越大损失也越大。在数据融合处理过程中，根据对原始数据处理方法的不同，数据融合系统的体系结构主要有两种：集中式体系结构和分布是体系结构。1、集中式：集中式将各传感器获得的原始数据直接送至中央处理器进行融合处理。可以实现实时融合，其数据处理的精度高，解法灵活，缺点是对处理器要求高，可靠性较低，数据量大，故难以实现。2、分布式：每个传感器对获得的原始数据先进行局部处理，包括对原始数据的预处理、分类及提取特征信息，并通过各自的决策准则分别作出决策，然后将结果送人融合中心进行融合以获得做种的决策。分布式对通信带宽要求低、计算速度快、可靠性和延续性好，但跟踪精度没有集中式高。大多数情况是把二者进行不同组合，形成一种混合式组合。七、数据融合的算法介绍1、HIS变换HIS变换是应用比较广泛的数据级融合方法，相对于RGB颜色空间来说，它是一个对物体颜色属性的描述系统，其中的I代表地物的亮度（intensity）、H代表色度（hue）、S代表饱和度（saturation），三者分别代表三个波段的平均辐射强度、数据向量和等量的数据大小。HIS变换方法的一般做法是：将已经配准的TM标准假色图像经HIS变换得到I、H、S分量，然后用SAR图像代替其中的I值，再变换到RGB颜色空间，形成新的图像。这种新图像既保留了SAR数据的亮度指标，又保留了TM数据的色度和饱和度指标，这样就能充分展示空间特征，显著的丰富图像的信息量。2、D-S证据推理D-S证据理论由Dempster于1967年提出，其学生Shafer将其发展并整理成一套完整的数学推理理论。D-S证据理论可以看作是有限域上对经典概率推理理论的一般化扩展，其主要特性是支持描述不同等级的精确到和直接引入了对未知不确定性的描述。该算法具有很强的处理不确定信息的能力。它不需要先验信息，对不确定信息的描述采用“