多传感器数据融合技术及应用

课程简介现代信号处理技术及应用多传感器数据融合小波分析课程简介-数据融合数据融合概述数据融合模型数据融合功能模型数据融合结构模型Agent模型课程简介-数据融合分布式检测与数据融合Beyas融合规则Neyman-Pearson融合规则K/N融合规则串行结构融合规则异步传输融合规则带反馈并行融合规则模糊先验概率和代价融合规则融合系统的性能评估课程简介-数据融合数据融合的数学基础数据融合的应用D-S理论Kalman滤波概率数据关联课程简介-小波分析•小波分析:WaveletAnalysis（20学时）预备知识连续小波变换离散小波变换小波框架多分辨率分析正交小波变换Mallat算法WA在信号处理中的应用参考资料•科学出版社：信息融合（2007）•电子工业出版社：多传感器信息融合及其应用（2010）•清华大学出版社：多源信息融合（第二版）（2010）•相关论文第一章多传感器数据融合概述•数据融合源于仿生学人和动物：感官具有不同的度量特征，可测量出不同空间范围内发生的各种物理现象（自适应的复杂的），将各种信息转换为对环境有价值的解释•数据融合—信息融合一、数据融合的定义•定义1：（llinas&hall）利用计算机技术对按时序获得的若干传感器的观测信息在一定准则下加以自动分析、优化综合以完成所需要的决策和估计任务而进行的信息处理过程相互关系分析：多传感器—基础多源信息—加工对象协调优化和综合处理—核心•定义2：（军事领域）是对来自多传感器的数据进行多级别、多方面、多层次的处理，从而产生新的有意义的信息•定义3：（综合定义）指对来自不同知识源和传感器采集的数据进行综合处理，从而得出更加准确、可靠的结论•融合被多领域频繁应用、滥用，由于所研究内容的广泛性和多样性造成了统一定义较为困难•思考：定义的作用？二、数据融合的必要性•随着科学技术的发展，传感器的性能得到很大的提高，新型的传感器不断涌现，如复合传感器、生物传感器、纳米传感器等•多传感器系统中信息表现形式多源性信息数量的海量异构信息关系的复杂性实时性•信息处理的要求远远超出了人脑的综合处理能力•军事需求：随着新型武器（精确制导、远程打击等）的出现→战场范围扩大（五维空间）→必须应用多传感器系统：微波、毫米波、电视、红外、激光、电子支援措施（ESM），以及电子情报技术→提供观测数据→优化综合→实现：实时发现目标获取目标状态估计提供火力控制、精确制导、电子对识别目标属性抗、作战模式和辅助决策等作战信息分析行为意图态势评估威胁分析•20世纪70年代末，多传感器数据融合迅速发展→成为独立的学科，并在军事、民用领域得到了广泛的应用•具有代表性的工作：美国的C3I系统（command,control,communicationandintelligence）目前已经发展至C4I系统（command,control,communication,computerandintelligence）和C4ISR(surveillanceandrecon)云时代和大数据•近年来，随着互联网、无线传感网络和物联网等技术的发展，形成了海量数据(massivedata)-大数据(bigdata)，数据融合进入了新的发展阶段•大数据通常用来形容所创造的大量非结构化和半结构化数据•大数据的特点（4V）数据体量巨大(volume):从TB跃升到PB级别数据类型繁多(variety):包括网络日志、视频、图片、地理位置信息等价值密度低(value):以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒处理速度快(velocity):1秒定律，与传统的数据处理技术有本质的不同三、数据融合的目标•目标基于各传感器分离观测信息，通过对信息的优化组合导出更多的有效信息•本质目标利用多传感器共同操作的优势，提高整个传感系统的有效性四、多传感器数据融合系统的优点冗余信息（增强了可靠性）、互补信息（扩展了单传感器的性能）•提高了系统的可靠性和鲁棒性•扩展了时间或空间的观测范围•增强了系统的可信度•增强了系统的分辨能力多传感器数据融合与经典信号处理方法的区别•本质上，关键在于数据融合所处理的多传感器信息具有更加复杂的形式，而且在不同的信息层上出现，包括数据、特征和决策层五、多传感器数据融合应用领域•（一）、军事领域TMD：战区导弹防御系统（theatermissiledefensesystem）C4ISR•飞行目标跟踪•虚拟战场科索沃虚拟战场•战场监测•士兵机器人•惯性导航惯性导航系统是利用惯性元件来感测航行体的运动加速度，经过积分计算，从而解算出导航参数来确定航行体的位置。惯性导航系统可以连续给出载体的航向、姿态、速度、位置等导航参数。具有隐蔽性好、抗干扰性强、能全天候工作等优点，但其导航需要一段对准时间，存在“漂移”现象，误差随时间积累，长时间工作会产生较大的积累误差•星图导航天文导航系统的航向精度在现有导航设备中是最高的，可为武器系统提供精确的位置、航向和姿态信息视频信号预处理及星提取模块星图识别及跟踪模块导航星库导航参数（位置、姿态）解算模块导航参数输出光线系统（二）民用领域1、机器人•传感器包括：摄像机、声纳、陀螺仪、激光测距仪等•pioneer、月球车、六足机器人（俄罗斯）、火星探测车•制造业机器人•服务机器人•导游机器人•机械手•Robotcup•路径规划机器人舞蹈qiro机器人20个机器人Nao在上海世博会法国馆完美演出了长达10分钟的全自主集体舞蹈表演，创造了类人机器人历史性一幕，这也是世界上第一次大规模机器人同时跳“集体舞”。机器人Nao的表演分三个音乐片段，其中包括法国作曲家莫里斯拉威尔的著名交响作品Bolero，完美展示了Nao完成稳定、灵活并有节奏的动作的能力。这也是机器人史上第一次在艺术领域达到饱含情感并与观众产生共鸣的高度。由类人机器人领域的世界顶尖公司AldebaranRobotics研发星球车勇气号火星车好奇号火星车2、工业过程监控•识别引起系统状况超出正常运行范围的故障条件→触发报警器•石油勘探•火力发电（发电机组监控）•转炉炼钢（温度和含碳量）•核反应堆3、遥感图像融合处理•主要对地面目标或实体进行监视、识别与定位，使用的传感器主要为合成孔径雷达，在多源图像进行融合时，要利用像素级配准•通过高空间分辨率全色图像和低光谱分辨率图像的融合，得到高空间分辨率和高光谱分辨率的图像，融合多波段和多时段的遥感图像来提高分类的准确性。•采用合成孔径雷达、卫星遥感等对地面进行监视，以识别地貌、气象模式、矿产、植物生长（农作物种植面积和产量预测）、环境条件（省气象局-火灾）和威胁状况（原油泄漏、辐射泄漏等）→对物理现象、事件进行定位、识别和解释。4、公共安全•毒品检测气敏、红外、微波•火灾监测烟雾传感器、二氧化碳传感器•瓦斯监测•远程医疗X射线、核磁共振、超声波→肿瘤定位•智能材料飞机机翼（有限元分析→表面应力计算）微机械手（压电陶瓷制备→温度发生形变：温度控制）刹车系统5、环境污染监测•环境污染现状•大气污染监测•环境水污染监测检测指标水质建模、水质综合评判•汽车尾气排放检测16.4%24%59.6%I~III类水IV~V类水劣V类水2010年七大水系的408个重点监测断面6、智能交通•空中交通：空中交通管制系统在雷达网的监视、引导和管理下进行工作，多雷达融合，通过二次雷达识别各种类型的飞机、确定民航机航班号、飞行状态，且与一次雷达进行配对导航设备：监视和控制设备：修正航线偏离、防止飞机相撞，并调度飞机流量；通信设备、调度人员•城市交通：摄像、航拍、地感线圈、微波、雷达、地磁传感器、视频、FCD•轨道交通无人驾驶汽车•法国公司INRIA花费十年心血，于2009年5月研制出无人驾驶汽车Cycab自动驾驶（GPS定位误差小于1米）•德国大众•中国自主车大赛国防科技大学自主研制的红旗HQ3无人车•7月14日首次完成了从长沙到武汉286公里的高速全程无人驾驶实验，创造了我国自主研制的无人车在复杂交通状况下自主驾驶的新纪录，标志着我国无人车在复杂环境识别、智能行为决策和控制等方面实现了新的技术突破，达到世界先进水平•实验中，无人车自主超车67次，途遇复杂天气，部分路段有雾，在咸宁还遭逢降雨•一辆高速行驶的汽车上，“司机”不扶方向盘还不时扭头跟车上其他人聊天，全然不看前方的路……当这样一辆车从你身边驶过，你肯定会大吃一惊，不敢相信自己眼睛。然而，这一幕7月14日从长沙到武汉的高速公路上已经真实上演车路协同•车路协同系统主要包含智能车辆、车车通信（VehicletoVehicle,V2V）、车路通信（VehicletoInfrastructure,V2I）、车路协同控制和微观仿真等，它显著提高道路基础设施的使用效率道路，大大降低交通事故、延误和环境污染CVIS展望图7、农业精准农业无土栽培•食品检测•农作物农药残留量检测酶抑制法→通过光谱分析→确定有害物质•水产养殖•分拣系统8、其他•电子鼻(electronicnose)•电子舌(electronictongue)9、物联网•物联网（Theinternetofthings）物联网是新一代信息技术的重要组成部分是物物相连的互联网，其含义包括：1.物联网的核心和基础仍然是互联网，是在互联网基础上的延伸和扩展的网络2.其用户端延伸和扩展到了任何物品与物品之间，进行信息交换和通信•物联网的定义是通过射频识别（RFID）、红外感应器、GPS、激光扫描器等信息传感设备，按约定的协议，把任何物品与互联网相连接，进行信息交换和通信，以实现对物品的智能化识别、定位、跟踪、监控和管理的一种网络•信息融合是物联网的核心技术体系结构信息融合是物联网的核心技术之一云平台智能信息处理（数据融合）传感器通信（数据融合）控制机制无线传感网络环境对象Internet用户五、多传感器数据融合研究现状自20世纪70年代末以来，MSDF受到了各国学术界、工业界和军届的广泛关注，成为研究热点（一）国外•美国将MSDF技术列为90年代重点研发的二十项关键技术之一，A类，发展C4I系统，经费投资数亿美元•学术方面：87年起，美三军每年召开一次数据融合学术会议，出版SPIE专集•IEEE94年首次举办智能系统多传感器融合与集成会议MFI94，MFI96，MFI99，MFI01（德国）•IEEE系统和控制论会议•IEEE航空航天与电子系统会议•IEEE自动控制会议•IEEEC3MIS会议•1998在美国成立了国际信息融合学会ISIF，每年举行一次学术会议•专著LLINAS&HALL:multi-sensordatafusionHALL:mathematicaltechniquesinmulti-sensordatafusion•学术期刊IEEEsensorsjournalIEEEsystem,manandcyberneticsInformationfusionInformationscienceSensorandactuatorASensorandactuatorB（二）国内六、多传感器数据融合方法的进展•经典的理论方法经典推理法、kalman滤波、Bayes推理、证据理论、聚类分析法、参数模板法、物理模型法、熵法、品质因数法、ES等•人工智能法FuzzySets、NeuralNetwork、RoughSet、SVM和WaveletAnalysis等（一）数据融合研究存在的问题•多传感器数据融合尚缺乏一套成熟、完整的理论体系与方法•多传感器数据融合尚无通用的体系框架和术语•多元假设检验的数据融合算法及其数学基础关键问题：在于如何对误差和不确定进行建模（ex，同一传感器在相同的条件下多次检测存在着差异）•误差与不确定建模具体包括：（1）融合过程的误差误差的传播（2）传感信息的误差①通常可用Gauss白噪声表示，实际中，这种假设难以满足②传感过程中存在着错误的信息（3）系统运行的误差①假设多sensor的测量相互独立，而当sensor之间的耦合带来系统误差时，系统无法处理这样的误差（一致性处理）②se