第1讲-信息融合概述

《多源测试信息融合》授课团队：万江文，吴银锋，于宁[e-mail]新主楼B502第一讲多源信息融合概述1主要参考书籍韩崇昭等,《多源信息融合》，清华大学出版社杨露菁,余华.《多源信息融合理论与应用》，北京邮电大学出版社DavidL.Hall.《HandbookofMultisensorDataFusion》何友,王国宏等.《多传感器信息融合及应用》(第二版),电子工业出版社王润生.《信息融合》,科学出版社2主讲内容及教学计划信息融合概述（2课时）多源检测融合原理（4课时）不确定推理（6课时）分布式检测与融合（4课时）集中式检测与融合（4课时）多传感器目标识别与融合模型（4课时）应用实例（4课时）复习(2课时)3考核方式最终成绩:平时作业（30%）出勤（10%）期末考试（60%）4本次课讲解内容信息融合基本概念信息融合应用融合系统模型与处理结构信息融合算法待解决的问题研究方向51信息融合基本概念盲人摸象丢失的骆驼6?视觉可能是红糖水、可乐、咖啡……嗅觉触觉是咖啡……冰的……一杯冰咖啡1信息融合基本概念7d81信息融合基本概念视觉听觉嗅觉触觉1.1生物多维感知系统的协同工作的实例人或其它生物体记忆、先验知识、规则、推理味觉91信息融合基本概念作为仪器仪表专业的研究生如何让我们的仪器仪表做的跟人脑一样的智能、准确、快速、高效呢？－－（确定、不确定）信息的有效融合101.2信息融合定义信息融合是一种多层次、多方面的处理过程，包括对多源数据进行检测、相关、组合和估计，从而提高状态和身份估计的精度，以及对战场态势和威胁的重要程度进行适时完整的评价。JDL(JointDirectorsofLaboratories，美国三军组织实验室理事联合会)定义：利用计算机技术，对不同传感器按时序获得的观测信息，按照一定的准则加以自动分析、优化和综合，为完成所需任务（目的）的估计和决策而进行的信息处理过程。一般定义：111.3信息融合发展历史20世纪70年代首次提出（美国）20世纪80年代初步形成信息融合技术20世纪90年代末，研究热点目前，仍为学术界研究的热点12几个重要事件1973年，美国国防部资助研究了“声纳信号的理解系统”研究。（起始）1984年，美国成立了数据融合专家组；1988年，美国国防部将数据融合技术列为90年代重点开发的20项关键技术之一，且列为优先开发的A类；1991年美国已有54个数据融合系统引入到军用电子系统中去，其中87%已有试验样机、试验床或已被应用；1998年，成立了国际信息融合学会（InternationalSocietyofInformat-ionFusion,ISIF），每年举行一次信息融合学术会议。13C3I系统C3I（Communication，Command，ControlandIntelligencesystems）系统:指挥自动化系统。C3I技术是运用系统工程的理论和方法，对军事指挥、控制、通信、情报系统进行开发和管理的技术。应用电子计算机、数据通信、控制技术、传感和显示技术等，集中管理和协调远离中心的各种资源的大型综合信息系统。通信指挥控制情报系统的简称。军用上则称作指挥自动化系统。14C3I系统－续C3I系统，极大地缩短了监视战场——处理信息、发现目标和评估——下达作战指令和实践打击的这一作战周期的时间，从而使真刀真枪的实战时间越来越短，战争节奏越发加快，一场战争可能就是一次战役甚至就是一次战斗。1986年美国空袭利比亚的“外科手术式”的战争，整个空袭行动只用了18分钟，其中攻击主要目标的持续时间仅11分钟。15C3I系统－续1989年美军入侵巴拿马战争的主要作战，只用了15个小时。1991年海湾战争和1999年的科索沃战争的规模较大，持续时间也不过42天和78天，而海湾战争的地面作战仅100个小时。161.4信息融合的分类假设检验型滤波跟踪型人工智能按融合技术分类模式识别型聚类分析型基于专家系统的基于人工神经网络以生物为基础17硬判决软判决按融合判决方式同类传感器异类传感器按传感器组合方式1.4信息融合的分类18集中式分布式按信息融合结构模型检测融合估计融合按融合的目的属性融合1.4信息融合的分类19增加系统的生存能力扩展空间和时间覆盖范围提高可信度降低信息的模糊度1.5信息融合的优点改善探测性能提高空间分辨率增加测量空间的维数202信息融合的应用□军事应用海事防务自主式武器系统和自备式运载器战斗机及直升机上应用截获、跟踪和指挥制导的火控系统军事力量的指挥和控制站敌情指示和预警系统信息融合技术在航空武器装备中的应用具有重大意义。数据融合技术已国外军事装备中得到广泛应用，俄罗斯和美国军方都在多传感器数据融合和信息处理技术方面进行了大量的研究工作，并已用于多种型号的军用飞机21法国的“阵风”战斗机装有RBE2双轴、多功能电子扫描火控雷达、“前扇区光学系统”(OSF)以及“防御辅助子系统”(DASS)，OSF能与RBE2雷达、DASS系统交联工作，以在保持其在低可探测性的条件下，发挥各自的最大效能美国F-22综合航空电子系统具有综合传感器融合能力，包含电子战和雷达以及通信、导航和识别能力苏-27的TsVM-80的火控计算机能将红外瞄准、激光、光学和多模式雷达输入综合起来向屏显提供信号，具有一定程度的多传感器数据融合能力一些数据融合系统22一些数据融合系统全球网络中心监视与瞄准(GNCST)系统--美国空军的新型情报信息融合处理系统英国BAE系统公司还开发一种被称作”分布式数据融合”（DecentralizedDataFusion，DDF）的信息融合新技术。它采用的是分布式数据融合技术，若一个节点脱离网络，其他部分仍会继续工作并共享、综合和融合信息其它：服务于美国海军的ATW(AdvancedTacticalworkstation)、CEE（ConditionalEventsandEntropy）；服务于美国空军的ABI（AWACSBroadcastIntelligence）、AMSTE（AffordableMovingSurfaceTargetEngagement）、DADFA（DynamicAdaptationofDataFusionAlgorithms）等等。23其它方面的应用军事应用是多传感器信息融合技术诞生的源泉，近年来，多传感器数据融合系统在民事应用领域得到了快速的发展。图像融合—图像工程中一个新兴的研究领域工业智能机器人—对视频图像、声音、电磁等进行数据融合遥感—检测天气变化、矿产资源分布和农作物收成等。故障诊断—基于一定的准则进行融合处理，判断对象是否存在故障智能交通系统—实现无人驾驶交通工具的自主道路识别、速度控制和定位等刑侦—利用红外、微波等进行隐匿武器检查、毒品检查等24遥感医学图像其它方面的应用故障诊断测试床25智能交通263数据融合系统模型与处理结构3.1JDL数据融合模型-从军事应用的角度数据源人机接口数据预处理一级处理目标评估二级处理态势评估三级处理影响评估四级处理过程评估数据库管理系统支持数据库融合数据库273.1JDL数据融合功能模型数据配准、数据关联、目标位置和运动学、属性参数、身份估计，用于提供辅助决策信息。○目标评估在军事上指评价实体之间相互关系，主要包括态势抽象和态势评定。○态势评估将当前态势映射到未来，对参与者设想或预测行为的影响进行评估。○影响评估通过建立一定的优化指标，对融合过程进行实时监控与评价，实现多传感器自适应信息获取与处理、资源最优分配等。○过程评估28Dasarathy提出的I/O功能模型指挥控制融合模型omnibus处理模型等Bedworth于1994年提出瀑布模型，应用于英国国防信息融合系统说明：实际系统的功能划分不尽相同，一般需要根据具体应用需求来决定，可能仅需某一级或两级的融合处理其它的功能模型293.2融合处理的过程融合处理器分析来自所有传感器的数据，并对其进行配准、关联、相关、估计、分类与信息反馈等。配准：将传感器数据统一到同一参考时间和空间中关联：使用某种度量尺度对来自不同传感器的航迹与量测数据进行比较，确定进行相关处理的候选配对相关：对关联后的航迹和报表进行处理以确定它们是否属于同一个目标估计：依据相关处理后的结果对目标的状态变量与估计误差方差进行更新，实现对目标未来位置的预测分类：通过对特征数据的分析，确定目标的类型等30决策信息数据环境高层次融合传感器采集筛选、整合和抽象自然环境信息由低层到高层3.2融合处理的过程313.3数据融合的级别数据级融合特征级融合决策级融合按照数据抽象的层次划分32(1)数据级（像素级）融合含义最低层次的融合，直接对传感器的观测数据进行融合处理，然后基于融合后的结果进行特征提取和判断决策。传感器1传感器2传感器N…关联数据级融合特征提取属性判决联合属性判决结果33不足特点数据损失量较少精度最高实时性差要求传感器是同类的数据通信量大，抗干扰能力差处理的数据量大(1）数据级融合34(2)特征级融合含义中间层次的融合，每个传感器先抽象出自己的特征向量，然后由融合中心完成融合处理。可划分为目标状态和目标特征信息融合两类传感器1传感器2传感器N…特征提取关联特征层属性融合属性判决联合属性判决结果35特点进行了数据压缩，对通信带宽的要求低利于实时处理不足有信息损失融合性能降低(2)特征级融合36(3)决策级融合含义高层次的融合，每个传感器先基于自己的数据做出决策，然后由融合中心完成局部决策。传感器1传感器2传感器N…特征提取关联决策层融合联合属性判决结果属性判别属性判别属性判别…37特点通信量小抗干扰能力强融合中心处理代价低不足数据损失量最大精度最低(3)决策级融合38(4)不同级别的融合性能比较融合模型计算量容错性信息损失量精度抗干扰性融合方法传感器同质性通信数据量实时性融合水平象素级大差小高差难大大差低特征级中中中中中中中中中中决策级小好大低好易小小好高393.4融合处理的结构模型集中式融合结构分布式融合结构混合式融合结构根据信息流通形式和综合处理层次多级式融合结构40（1）集中式融合结构优点：信息损失最小集中式融合结构将检测报告传递到融合中心，然后进行数据对准、点迹相关、数据互联、航迹滤波、预测与综合跟踪等。缺点：互联比较困难，并且要求系统必须具备大容量的能力，计算负担重，系统生存能力较差融合结构的模型如下图所示41（1）集中式融合结构传感器1传感器2传感器N预处理预处理预处理…坐标转换、数据对正点迹相关、数据互联航迹文件与综合跟踪航迹滤波与更新目标状态融合中心传感器控制/反馈信息…检测与估计42（2）分布式融合结构分布式融合结构中，每个传感器的检测报告在进入融合以前，先由它自己的处理器产生局部多目标跟踪航迹，然后将处理过的信息送至融合中心，完成航迹-航迹相关、航迹合成，形成全局估计。传感器1传感器2传感器N预处理预处理预处理…坐标转换、数据对正航迹与航迹相关航迹合成目标状态融合中心传感器控制/反馈信息…检测与估计多目标跟踪器多目标跟踪器多目标跟踪器43（3）混合式融合结构传感器1传感器2传感器N预处理预处理预处理…坐标转换、数据对正航迹与航迹相关复合滤波、综合跟踪目标状态融合中心传感器控制/反馈信息…检测与估计多目标跟踪器多目标跟踪器多目标跟踪器多路器选择与合并44（4）多级式融合结构局部融合节点1局部融合节点2局部融合节点N数据对正、控制参数航迹与航迹相关航迹相关目标状态融合节点…分级融合结构中，各局部节点可以同时或分别是集中式、分布式或混合式的融合中心，系统的融合节点再次对各局部节点传送来的航迹进行相关和合成。45（5）不同融合结构的比较融合方式信息损失通信带宽融合处理融合控制可扩充性集中式小大复杂容易差分布式大小容易复杂好混合式中中中等中等一般46融合算法是融合处理的基本内容，它将多维输入数据根据信息融合的