搜索
第11章多传感器信息融合技术概述传感器信息融合的分类和结构传感器信息融合的一般方法传感器信息融合的实例第一节概述传感器信息融合技术是从多信息的视角进行处理及综合，得到各种信息的内在联系和规律，从而剔除无用的和错误的信息，保留正确的和有用的成分，最终实现信息的优化。为智能信息处理技术的研究提供了新的观念。一、概念定义：将经过集成处理的多传感器信息进行合成，形成一种对外部环境或被测对象某一特征的表达方式。单一传感器只能获得环境或被测对象的部分信息段，而多传感器信息经过融合后能够完善地、准确地反映环境的特征。经过融合后的传感器信息具有以下特征：信息冗余性、信息互补性、信息实时性、信息获取的低成本性。多传感器信息融合是人类和其它生物系统中普遍存在的一种基本功能，人类有将身体上的各种功能器官（眼、耳、鼻、四肢）所探测的信息(景物、声音、气味和触觉)与先验知识进行综合的能力，以便对其周围的环境和正在发生的事件做出估计。多传感器信息融合实际上是人对人脑综合处理复杂问题的一种功能模拟。在多传感器系统中，各种传感器提供的信息可能具有不同的特点：时变的或者非时变的，实时的或者非实时的，模糊的或者确定的，精确的或者不完整的，相互支持的或者互补的。信息融合的目标是基于各种传感器分离观测信息，通过对信息的优化组合导出更多的有效信息。这是最佳协同作用的效果，它的最终目的是利用多个传感器共同或联合操作的优势来提高整个系统的有效性。数学基础的支持：概率论、随机过程、数理统计、参数估计、滤波理论；分形、混沌、模糊推理、人工神经网络等二、意义及应用•主要作用及意义可归纳为以下几点：–（1）提高信息的准确性和全面性。与一个传感器相比，多传感器数据融合处理可以获得有关周围环境更准确、全面的信息；–（2）降低信息的不确定性。一组相似的传感器采集的信息存在明显的互补性，这种互补性经过适当处理后，可以对单一传感器的不确定性和测量范围的局限性进行补偿；–（4）提高系统的可靠性。某个或某几个传感器失效时，系统仍能正常运行；–（5）增加系统的实时性。应用领域：机动目标跟踪、分布监测融合、多传感器跟踪与定位、分布信息融合、目标识别与决策信息融合、态势评估与威胁估计等领域的理论及应用研究（1）信息融合系统采用多种传感器收集信息，包括声、光、电、运动、视觉、触觉、力觉以及语言文字。（2）信息融合技术中的分布式信息处理结构通过无线网络、有线网络，智能网络，宽带智能综合数字网络等汇集信息，传给融合中心进行融合。除了自然(物理)信息外，信息融合技术还融合社会类信息。（3)信息融合采用分形、混沌、模糊推理、人工神经网络等数学和物理的理论及方法。(4)它的发展方向是对非线性、复杂环境因素的不同性质的信息进行综合、相关，从各个不同的角度去观察、探测世界。1、在信息电子学领域2、在计算机科学领域在计算机科学中，目前正开展着并行数据库、主动数据库、多数据库的研究。信息融合要求系统能适应变化的外部世界，因此，空间、时间数据库的概念应运而生，为数据融合提供了保障。信息融合处理过程要求有相应的数据库原理和结构，以便融合随时间、空间变化的数据。在信息融合的思想下，提出的空间、时间数据库，是计算机科学的一个重要的研究方向。3、在自动化领域以各种控制理论为基础，信息融合技术采用模糊控制、智能控制、进化计算等系统理论，结合生物、经济、社会、军事等领域的知识，进行定性、定量分析。目前的控制技术，已从程序控制进入了建立在信息融合基础上的智能控制。智能控制系统不仅用于军事，还应用于工厂企业的生产过程控制和产供销管理、城市建设规划、道路交通管理、商业管理、金融管理与预测、地质矿产资源管理、环境监测与保护、粮食作物生长监测、灾害性天气预报及防治等涉及宏观、微观和社会的各行各业。多传感器数据融合技术可以对不同类型的数据和信息在不同层次上进行综合，它处理的不仅仅是数据，还可以是证据和属性等。第二节传感器信息融合功能和结构•数据融合层次的划分主要有两种方法。–第一种方法是将数据融合划分为低层（数据级或像素级）、中层（特征级）和高层（决策级）。–另一种方法将是将传感器集成和数据融合划分为信号级、证据级和动态级。一、传感器信息融合的级别基于像素层融合的面部表情识别基于特征层融合的面部表情识别基于决策层融合的面部表情识别以基于信息融合的面部表情分析与识别为例基于像素层融合的面部表情识别这种方法对每幅图像预处理之前进行像素层融合后,得到一个融合的人脸图像数据,并在此基础上再进行特征提取和面部表情识别。人脸图像人脸图像人脸图像像素层融合特征提取面部表情识别识别结果基于特征层融合的面部表情识别•这种方法对每个传感器的观测数据进行特征的抽取以得到一个特征向量,然后把这些特征向量融合起来并根据融合后得到的特征向量进行面部表情识别及判定。特征层融合面部表情识别识别结果特征提取特征提取特征提取人脸图像人脸图像人脸图像基于决策层融合的面部表情识别•这种方法对每个传感器都执行面部表情特征提取和面部表情识别，然后对多个识别结果进行信息融合从而得出一个面部表情判决结果,再融合来自每个传感器的面部表情判决。决策层融合面部表情识别识别结果特征提取特征提取特征提取人脸图像人脸图像人脸图像表情识别表情识别表情识别二、信息融合的结构信息融合的结构分为串联和并联两种SnS2S1Y1Y2YnC1C2CnYSC1C2Cn(a)串联(b)并联C1，C2，…，Cn表示n个传感器S1,S2,…，Sn表示来自各个传感器信息融合中心的数据y1，y2，…，yn表示融合中心。……•组合：由多个传感器组合成平行或互补方式来获得多组数据输出的一种处理方法，是一种最基本的方式，涉及的问题有输出方式的协调、综合以及传感器的选择。在硬件这一级上应用。•综合：信息优化处理中的一种获得明确信息的有效方法。–例：在虚拟现实技术中，使用两个分开设置的摄像机同时拍摄到一个物体的不同侧面的两幅图像，综合这两幅图像可以复原出一个准确的有立体感的物体的图像。•融合：当将传感器数据组之间进行相关或将传感器数据与系统内部的知识模型进行相关，而产生信息的一个新的表达式。•相关：通过处理传感器信息获得某些结果，不仅需要单项信息处理，而且需要通过相关来进行处理，获悉传感器数据组之间的关系，从而得到正确信息，剔除无用和错误的信息。–相关处理的目的：对识别、预测、学习和记忆等过程的信息进行综合和优化。传感器信息融合分类第三节传感器信息融合的一般方法第三节传感器信息融合的一般方法由多种传感器所获得的客观环境(即被测对象)的多组数据就是客观环境按照某种映射关系形成的像，信息融合就是通过像求解原像，即对客观环境加以了解。用数学语言描述就是，所有传感器的全部信息，也只能描述环境的某些方面的特征，而具有这些特征的环境却有很多，要使一组数据对应惟一的环境(即上述映射为一一映射)，就必须对映射的原像和映射本身加约束条件，使问题能有惟一的解。嵌入约束法最基本的方法：Bayes估计和卡尔曼滤波嵌入约束法、证据组合法、人工神经网络法一、嵌入约束法1.Bayes估计事件Ai先验概率P(Ai)条件概率（似然性）P(B/Ai)联合概率P(Ai)P(B/Ai)修正概率（后验概率）P(Ai/B)(1)(2)(3)(4)(5)A1:有病A2:无病0.010.990.970.050.00970.04950.0097/0.0592=0.160.0495/0.0592=0.84合计1.00P(B)=0.0592边际概率1.00P(A1)=P(有此病)P(A2)=P(无此病)B表示“试验表明有此病”的事件P(B/A1)表示在某人有此病时“试验表明有此病”的条件概率P(B/A2)表示在某人无此病时“试验表明有此病”的条件概率P(A1/B)表示在“试验表明有此病”时，有此病的概率1.Bayes估计是融合静态环境中多传感器低层数据的一种常用方法。其信息描述为概率分布，适用于具有可加高斯噪声的不确定性信息。假定完成任务所需的有关环境的特征物用向量f表示，通过传感器获得的数据信息用向量d来表示，d和f都可看作是随机向量。信息融合的任务就是由数据d推导和估计环境f。假设p(f，d)为随机向量f和d的联合概率分布密度函数，则p(f|d)表示在已知d的条件下，f关于d的条件概率密度函数p(d|f)表示在已知f的条件下，d关于f的条件概率密度函数p(d)和p(f)分别表示d和f的边缘分布密度函数已知d时，要推断f，只须掌握p(f|d)即可，即)(/)()|()|(dpfpfdpdfp上式为概率论中的Bayes公式，是嵌入约束法的核心。)()|()()|(),(fpfdpdpdfpdfp信息融合通过数据信息d做出对环境f的推断，即求解p(f|d)。由Bayes公式知，只须知道p(f|d)和p(f)即可。p(d|f)是在已知客观环境变量f的情况下，传感器得到的d关于f的条件密度。当环境情况和传感器性能已知时，p(f|d)由决定环境和传感器原理的物理规律完全确定。p(f)可通过先验知识的获取和积累，逐步渐近准确地得到，因此，一般总能对p(f)有较好的近似描述。在嵌入约束法中，反映客观环境和传感器性能与原理的各种约束条件主要体现在p(f|d)中，而反映主观经验知识的各种约束条件主要体现在p(f)中。*系统辨识及其MATLAB仿真侯媛彬等在已具备先验概率情况下，贝叶斯决策过程包括以下几个步骤：①进行预后验分析(pre-posterioranalysis)，决定是否值得搜集补充资料以及从补充资料可能得到的结果和如何决定最优对策；②搜集补充资料，取得条件概率，包括历史概率和逻辑概率，对历史概率要加以检验，辨明其是否适合计算后验概率；③用概率的乘法定理计算联合概率，用概率的加法定理计算边际概率(marginalprobability)，用贝叶斯定理计算后验概率；④用后验概率进行决策分析。贝叶斯决策的优点表现在：①贝叶斯决策对不完备的信息提供了一个进一步研究的科学方法。也就是说，它能对信息的价值以及是否需要采集新的信息做出科学的判断。②它能对调查结果的可靠性加以数量化的评价，而不是像一般的决策方法那样，对调查结果或是完全相信，或是完全不相信。③如果说任何调查结果都不可能是完全准确的，而先验知识或主观概率也不是完全可以相信的，那么贝叶斯决策则巧妙地将这两种信息有机地结合起来了。④它可以在决策过程中根据具体情况不断地使用，使决策逐步完善和更加科学。贝叶斯决策方法的局限性表现在：①它所需要的数据多，分析计算比较复杂，特别在解决复杂问题时，这个矛盾就更为突出。②有些数据必须使用主观概率，而一些人并不相信主观概率，这就妨碍了贝叶斯决策方法的推广使用。2.卡尔曼滤波(KF)用于实时融合动态的低层次冗余传感器数据，该方法用测量模型的统计特性，递推决定统计意义下最优融合数据估计。如果系统具有线性动力学模型，且系统噪声和传感器噪声可用高斯分布的白噪声模型来表示，KF为融合数据提供惟一的统计意义下的最优估计，KF的递推特性使系统数据处理不需大量的数据存储和计算。KF分为分散卡尔曼滤波(DKF)和扩展卡尔曼滤波(EKF)。DKF可实现多传感器数据融合完全分散化，其优点：每个传感器节点失效不会导致整个系统失效。而EKF的优点：可有效克服数据处理不稳定性或系统模型线性程度的误差对融合过程产生的影响。嵌入约束法传感器信息融合的最基本方法之一，最优状态估计量测预测状态向量常规卡尔曼滤波主要包含时间更新和量测更新两部分。•由上图可见，卡尔曼滤波器具有预测－修正结构，滤波的方程组是时间域内的递推形式，易于在计算机上实现，很适合于实时处理。二、证据组合法证据组合法认为完成某项智能任务是依据有关环境某方面的信息做出几种可能的决策，而多传感器数据信息在一定程度上反映环境这方面的情况。因此，分析每一数据作为支持某种决策证据的支持程度，并将不同传感器数据的支持程度进行组合，即证据组合，分析得出现有组合证据支持程度最大的决策作为信息融合的结果。它先对单个传感器数据信息每种可能决策的支持程度给出度量(