第19章多传感器数据融合技术19.1传感器信息融合分类和结构119.2传感器信息融合的一般方法19.3信息融合系统的应用32概述传感器数据融合,是对多种信息的获取、表示及其内在联系进行综合处理和优化的技术。传感器信息融合技术从多信息的视角进行处理及综合,得到各种信息的内在联系和规律,从而剔除无用的和错误的信息,保留正确的和有用的成分,最终实现信息的优化。它为智能信息处理技术的研究提供了新的观念。经过融合后的传感器信息具有以下特征:信息冗余性、信息互补性、信息实时性、信息获取的低成本性。19.1传感器信息融合分类和结构19.1.1传感器信息融合分类传感器信息融合方法可分为以下四类:组合、综合、融合和相关。组合是由多个传感器组合成平行或互补方式来获得多组数据输出的一种处理方法,是一种最基本的方式,涉及的问题有输出方式的协调、综合以及传感器的选择。在硬件这一级上应用。综合是信息优化处理中的一种获得明确信息的有效方法。例如使用两个分开设置的摄像机同时拍摄到一个物体的不同侧面的两幅图像,综合这两幅图像可以复原出一个准确的有立体感的物体的图像。19.1传感器信息融合分类和结构融合是当将传感器数据组之间进行相关或将传感器数据与系统内部的知识模型进行相关,而产生信息的一个新的表达式。相关是通过处理传感器信息获得某些结果,不仅需要单项信息处理,而且需要通过相关来进行处理,获悉传感器数据组之间的关系,从而得到正确信息,剔除无用和错误的信息。相关处理的目的:对识别、预测、学习和记忆等过程的信息进行综合和优化。19.1传感器信息融合分类和结构19.1.2信息融合的结构信息融合的结构分为串联、并联,如图19-1所示。传感器1传感器2传感器1输入传感器1输出传感器2输入传感器2输出…传感器N传感器N输入最终结果传感器1传感器1输入传感器2传感器2输入传感器3传感器3输入…信息融合中心最终结果a)串行融合方式b)并行融合方式图19-1多传感器信息融合的结构形式19.1传感器信息融合分类和结构串联融合时,当前传感器要接收前一级传感器的输出结果,每个传感器既有接收处理信息的功能,又有信息融合的功能,各个传感器的处理同前一级传感器输出的信息形式有很大关系。最后一个传感器综合了所有前级传感器数出的信息,得到的输出为串联融合系统的结论。并行融合时,各个传感器直接将各自的输出信息传输到传感器融合中心,传感器之间没有影响,融合中心对各信息按适当的方法综合处理后,输出最终结果。还可将串行融合和并行融合方式结合组成混合融合方式,或总体串行局部并行,或总体并行局部串行。19.1传感器信息融合分类和结构19.1.3信息融合的关键技术信息融合的关键技术包括数据转换、数据相关、数据库和融合推理的减少融合损失。1)数据转换:多传感器输出的数据形式、环境描述等都不一样,信息融合中心处理这些不同信息的关键即是把这些数据转换成相同形式,然后进行相关处理。2)数据相关:数据相关的核心问题是克服传感器测量的不精确性,保持数据的一致性。因此,应控制和降低相关计算的复杂性,开发相关处理、融合处理和系统模拟的算法和模型。19.1传感器信息融合分类和结构3)态势数据库:态势数据库可分为实时数据库和非实时数据库。实时数据库的作用是把当前各传感器的观测结果及时提供给信息融合中心,同时也存储融合处理的最终态势/决策分析结果和中间结果。非实时数据库存储各传感器的历史数据、相关目标和环境的辅助信息以及融合计算的历史信息。态势数据库要求容量大、搜索快、开放互连性好,具有良好的用户接口。4)融合计算:融合计算涉及到以下问题:对多传感器的相关观测结果进行验证、分析、补充、取舍、修改和状态跟踪估计;对新发现的不相关观测结果进行分析和综合;生成综合态势,并实时地根据对传感器观测结果通过数据融合计算,对综合态势进行修改;态势决策分析。19.2传感器信息融合的一般方法作为一种智能化数据综合处理技术,数据融合是许多传统学科和新技术的集成与应用。最常用的信息融合方法有三类:嵌入约束法、证据组合法和人工神经网络法。19.2.1嵌入约束法由多种传感器所获得的客观环境(即被测对象)的多组数据就是客观环境按照某种映射关系形成的像,信息融合就是通过像求解原像,即对客观环境加以了解。19.2传感器信息融合的一般方法用数学语言描述就是,所有传感器的全部信息,也只能描述环境的某些方面的特征,而具有这些特征的环境却有很多,要使一组数据对应惟一的环境(即上述映射为一一映射),就必须对映射的原像和映射本身加约束条件,使问题能有惟一的解。嵌入约束法最基本的方法有Bayes估计和卡尔曼滤波。19.2传感器信息融合的一般方法1.Bayes估计Bayes估计是融合静态环境中多传感器低层数据的一种常用方法。其信息描述为概率分布,适用于具有可加高斯噪声的不确定性信息。假定完成任务所需的有关环境的特征物用向量f表示,通过传感器获得的数据信息用向量d来表示,d和f都可看作是随机向量。信息融合的任务就是由数据d推导和估计环境f。假设为随机向量f和d的联合概率分布密度函数,则:(,)(|)()(|)()pfdpfdpdpdfpf(,)pfd19.2传感器信息融合的一般方法◆其中,表示在已知d的条件下,f关于d的条件概率密度函数;表示在已知f的条件下,d关于f的条件概率密度函数;和分别表示d和f的边缘分布密度函数。◆已知d时,要推断f只须掌握即可,即上式为概率论中的Bayes公式,是嵌入约束法的核心。◆信息融合通过数据信息d做出对环境f的推断,即求解。◆由Bayes公式知,只须知道和即可。(|)(|)()/()pfdpdfpfpd(|)pfd(|)pdf(|)pfd(|)pfd(|)pdf()pf()pd()pf19.2传感器信息融合的一般方法因为可看作是使成为概率密度函数的归一化常数,是在已知客观环境变量f的情况下,传感器得到的d关于f的条件密度。当环境情况和传感器性能已知时,由决定环境和传感器原理的物理规律完全确定。而可通过先验知识的获取和积累,逐步渐近准确地得到,因此,一般总能对有较好的近似描述。在嵌入约束法中,反映客观环境和传感器性能与原理的各种约束条件主要体现在中,而反映主观经验知识的各种约束条件主要体现在中。()pd(|)()pdfpf(|)pdf(|)pdf(|)pdf()pf()pf()pf19.2传感器信息融合的一般方法在传感器信息融合的实际应用过程中,通常的情况是在某一时刻从多种传感器得到一组数据信息d,由这一组数据给出当前环境的一个估计f。因此,实际中应用较多的方法是寻找最大后验估计g,即:即最大后验估计是在已知数据为d的条件下,使后验概率密度p(f)取得最大值得点g,根据概率论,最大后验估计g满足当p(f)为均匀分布时,最大后验估计g满足此时,最大后验概率也称为极大似然估计。||maxfpgdpfd()()||maxfpgdpgpdfpf()()()()||maxfpgfpdf()()19.2传感器信息融合的一般方法当传感器组的观测坐标一致时,可以用直接法对传感器测量数据进行融合。大多数情况下,多传感器从不同的坐标框架对环境中同一物体进行描述,这时传感器测量数据要以间接的方式采用Bayes估计进行数据融合。间接法要解决的问题是求出与多个传感器读数相一致的旋转矩阵R和平移矢量H。在传感器数据进行融合之前,必须确保测量数据代表同一实物,即要对传感器测量进行一致性检验。常用以下距离公式来判断传感器测量信息的一致:112121()2TTxxCxx19.2传感器信息融合的一般方法式中为两个传感器测量信号,C为与两个传感器相关联的方差阵,当距离T小于某个阈值时,两个传感器测量值具有一致性。这种方法的实质是剔除处于误差状态的传感器信息而保留“一致传感器”数据计算融合值。2.卡尔曼滤波(KF)用于实时融合动态的低层次冗余传感器数据,该方法用测量模型的统计特性,递推决定统计意义下最优融合数据合计。KF的递推特性使系统数据处理不需大量的数据存储和计算。12xx和19.2传感器信息融合的一般方法KF分为分散卡尔曼滤波(DKF)和扩展卡尔曼滤波(EKF)。DKF可实现多传感器数据融合完全分散化,其优点为每个传感器节点失效不会导致整个系统失效。EKF的优点是可有效克服数据处理不稳定性或系统模型线性程度的误差对融合过程产生的影响。嵌入约束法传感器信息融合的最基本方法之一,但其缺点在于需要对多源数据的整体物理规律有较好的了解,才能准确地获得p(d|f),但需要预知先验分布p(f)。19.2传感器信息融合的一般方法19.2.2证据组合法证据组合法的基本思想是完成某项智能任务是依据有关环境某方面的信息做出几种可能的决策,而多传感器数据信息在一定程度上反映环境这方面的情况。因此,分析每一数据作为支持某种决策证据的支持程度,并将不同传感器数据的支持程度进行组合。并将分析得出现有组合证据支持程度最大的决策作为信息融合的结果。19.2传感器信息融合的一般方法证据组合法是对完成某一任务的需要而处理多种传感器的数据信息。完成某项智能任务,实际是做出某项行动决策。它先对单个传感器数据信息每种可能决策的支持程度给出度量(即数据信息作为证据对决策的支持程度),再寻找一种证据组合方法或规则。在已知两个不同传感器数据(即证据)对决策的分别支持程度时,通过反复运用组合规则,最终得出全体数据信息的联合体对某决策总的支持程度。得到最大证据支持决策,即信息融合的结果。19.2传感器信息融合的一般方法利用证据组合进行数据融合的关键在于:选择合适的数学方法描述证据、决策和支持程度等概念;建立快速、可靠并且便于实现的通用证据组合算法结构。证据组合法较嵌入约束法有以下优点:(1)对多种传感器数据间的物理关系不必准确了解,即无须准确地建立多种传感器数据体的模型;(2)通用性好,可以建立一种独立于各类具体信息融合问题背景形式的证据组合方法,有利于设计通用的信息融合软、硬件产品;(3)人为的先验知识可以视同数据信息一样,赋予对决策的支持程度,参与证据组合运算。常用证据组合方法有概率统计方法和Dempster-Shafer证据推理。19.2传感器信息融合的一般方法1.概率统计方法假设一组随机向量分别表示n个不同传感器得到的数据信息,根据每一个数据可对所完成的任务做出一决策。的概率分布为,为该分布函数中的未知参数,若参数已知时,则的概率分布就完全确定。用非负函数表示当分布参数确定为时,第i个信息源采取决策时所造成的损失函数。在实际问题中,是未知的,因此当得到时,并不能直接从损失函数中定出最优决策。ixiaiaiiL(a,d)aiiP(x)12nx,x,...,xixidixjdiaix19.2传感器信息融合的一般方法先由做出的一个估计,记为,再由损失函数决定出损失最小的决策。其中利用估计的估计量有很多种方法。概率统计方法适用于分布式传感器目标识别和跟踪信息融合问题。2.Dempster-Shafer证据推理(简称D-S推理)D-S证据推理是Bayes推理的扩充,在多传感器目标识别、军事指挥和防御方向得到了广泛的应用。一个完整的推理系统需要用几个不同推理级来确保精确的可信度表示。iia(x)iia(x)ixixiiiL[a(x),d]iaia19.2传感器信息融合的一般方法D-S推理的结构自上而下可分为三级:第一级为目标合成,其作用十八来自几个独立传感器的观测结果合成一个总的输出结果;第二级为推断,其作用是获取传感器的观测结果并进行推断,将传感器的观测结果扩展成为目标报告;第三级为更新,由于传感器存在随机误差,在时间上充分独立的来自同一传感器的一组连续报告,比任何单一报告都可靠,因此在进行推断和多传感器合成之前要更新传感器的观测信息。19.2传感器信息融合的一般方法下面介绍一下D-S推理的原理。假设F为所有可能证据所构成的有限集,f为集合F中的某个元素即某个证据。首先引入信