机器视觉第3章-图像融合技术

第3章图像融合技术2第3章图像融合技术本章内容3.1信息融合技术概述3.2图像融合3.3像素级图像融合方法3.4融合与配准3第3章图像融合技术信息融合源于仿生学人和动物：感官具有不同的度量特征，可测量出不同空间范围内发生的各种物理现象（自适应的、复杂的），将各种信息转换为对环境有价值的解释。智能型机器人可以具有视觉、听觉、嗅觉、味觉、触觉(痛觉)、热觉(温觉)、力觉、滑动觉、接近觉等传感器。它们感知的是同一环境下不同侧面的信息。信息融合—数据融合、传感器数据融合是对多种信息的获取、表示及其内在联系进行综合处理和优化的技术。3.1信息融合技术概述4第3章图像融合技术单一传感器只能获得环境或被测对象的部分信息。多传感器信息经过融合后能够完善地、准确地反映环境的特征。信息融合技术从多信息的视角进行处理及综合，得到各种信息的内在联系和规律，从而剔除无用的、错误的信息，保留正确的、有用的成分，最终实现信息的优化。信息融合技术为智能信息处理技术的研究提供了新观念。3.1信息融合技术概述5第3章图像融合技术3.1信息融合技术概述信息融合的定义信息融合的必要性多传感器数据融合系统的优点应用领域信息融合层次的划分信息融合的结构形式6第3章图像融合技术信息融合的定义采用计算机技术按时间序列获得多传感器的观测数据，在一定准则下进行自动分析、优化综合。获得对被测对象的一致性解释与描述，进而实现相应的决策和估计，使系统获得比各组成部分更充分的信息。这一信息处理过程被称为信息融合。基础：多传感器加工对象：多源信息核心：协调优化和综合处理7第3章图像融合技术其它定义：（如军事领域）将来自多个传感器和信息源的数据和信息加以联合、相关、组合，以获得目标的精确位置和身份估计，进而对战场情况和威胁及其重要程度进行适时的完整评价。该定义是军事应用方面的功能性定义。多个传感器对同一目标进行测量。重点是融合：联合、相关、组合；目的：状态估计、身份估计、态势估计、威胁估计。信息融合的定义8第3章图像融合技术随着科学技术的发展，传感器的性能得到很大的提高，新型的传感器不断涌现，如：复合传感器、生物传感器、纳米传感器等。多传感器系统中信息表现形式的特点：多源性、海量信息、异构信息关系的复杂性、实时性。信息处理的要求远远超出了人脑的综合处理能力。数据融合的必要性9第3章图像融合技术20世纪70年代末，多传感器数据融合迅速发展成为独立的学科，并在军事、民用领域得到了广泛的应用代表性的工作：美国的C3I系统（command,control,communicationandintelligence），已逐步发展为C4I系统（command,control,communication,computerandintelligence）和C4ISR(surveillanceandrecon)云时代和大数据：近年来，随着互联网、无线传感网络和物联网等技术的发展，形成了海量数据(massivedata)-大数据(bigdata)，数据融合进入了新的发展阶段。大数据：通常用来形容大量非结构化和半结构化数据。数据融合的必要性10第3章图像融合技术大数据的特点（4V）：volume、variety、value、velocity数据体量巨大：从TB跃升到PB级别。1TB(Terabyte，太字节，万亿字节或百万兆字节)=1024GBPB(Petabyte，拍字节或千万亿字节或千T字节)，1PB=1,024TB数据类型繁多：包括网络日志、视频、图片、地理位置信息等。价值密度低：以视频为例，连续不间断监控过程中，可能有用的数据仅仅只有一两秒。处理速度快：与传统数据处理技术有本质不同。数据融合的必要性11第3章图像融合技术信息融合中的信息种类：冗余信息：由多个独立传感器(常为同质)提供的环境中同一特征的多个信息，或由一个传感器在一段时间内多次测量得到的信息。互补信息：由多个独立传感器(常为异质)提供的关于环境信息中不同特征的信息，将它们综合起来构成更完整的环境描述。协同信息：多传感器系统中某个传感器信息的获取必须依赖其他传感器的信息，这些信息称为协同信息。协同信息的融合常与各传感器使用的时间顺序有关。多传感器数据融合系统的优点12第3章图像融合技术通过多个传感器探测同一区域，可以增强系统的可靠性和可信度、提高观测的空间分辨率。通过多个传感器观测不同区域，可以增强系统的空间覆盖范围。通过多种类型的传感器观测同一目标，可以增加信息量，减少模糊度。优点：提高了系统的可靠性和鲁棒性、扩展了时间或空间的观测范围、增强了系统的可信度、增强了系统的分辨能力。多传感器数据融合系统的优点13第3章图像融合技术军事领域：战区导弹防御系统、飞行目标跟踪、虚拟战场、战场监测、士兵机器人、导航……机器人：制造业机器人、服务机器人、导游机器人、机械手等……工业过程监控：石油勘探、火力发电机组监控、转炉炼钢（温度和含碳量）、核反应堆……农业：食品检测、农作物农药残留量检测、水产养殖、分拣系统……物联网……应用领域14第3章图像融合技术信息融合层次的划分信息融合层次的划分主要有两种方法。方法一：按照融合对象的层次不同，将信息融合划分为低层（数据级或像素级）、中层（特征级）和高层（决策级）。图像融合方法二：将传感器集成和数据融合划分为信号级、证据级和动态级。C3I系统15第3章图像融合技术方法一：以图像融合为例1.数据级融合(或像素级融合)对传感器的原始数据及预处理各阶段上产生的信息分别进行融合处理。尽可能多地保持原始信息，能够提供其它两个层次融合所不具有的细微信息。信息融合层次的划分监测对象传感器1特征提取传感器2传感器N数据融合识别决策…16第3章图像融合技术数据级融合的局限性：(1)由于需要处理的传感器信息量大，因此处理代价高。(2)融合操作在信息的最低层进行，由于传感器的原始数据具有不确定性、不完全性和不稳定性，要求在融合时有较高的纠错能力。(3)由于要求各传感器信息之间具有精确到一个像素的配准精度，故要求传感器信息来自同质传感器。(4)通信量大。信息融合层次的划分17第3章图像融合技术2.特征级融合利用从各个传感器原始数据中提取的特征信息，进行综合分析和处理的中间层次过程。通常所提取的特征信息应是数据信息的充分表示量或统计量，据此对多传感器信息进行分类、汇集和综合。信息融合层次的划分监测对象特征融合传感器1传感器2传感器N…识别决策特征提取特征提取特征提取…18第3章图像融合技术特征级融合分为：目标状态信息融合、目标特性融合。目标状态信息融合主要应用于多传感器目标跟踪领域。融合系统首先对传感器数据进行预处理以完成数据配准。配准后，融合处理主要实现参数相关和状态矢量估计。目标特性融合特征层的联合识别。具体的融合方法仍是模式识别的相应技术，只是在融合前必须先对特征进行相关处理，对特征矢量进行分类组合。在模式识别、图像处理和计算机视觉等领域，特征提取和基于特征的分类问题已被深入研究，有许多方法可以借用。信息融合层次的划分19第3章图像融合技术3.决策级融合在信息表示的最高层次上进行融合处理。不同类型的传感器观测同一个目标，每个传感器在本地完成预处理、特征抽取、识别或判断，以建立对所观察目标的初步结论。然后通过相关处理、决策级融合判决，最终获得联合推断结果，直接为决策提供依据。决策级融合直接针对具体决策目标，充分利用特征级融合所得出的各类特征信息，并给出简明直观的结果。决策级融合的优点：实时性最好；在一个或几个传感器失效时仍能给出最终决策，具有良好的容错性。信息融合层次的划分20第3章图像融合技术信息融合层次的划分监测对象决策融合传感器1传感器2传感器N…决策特征提取特征提取特征提取…识别识别识别…21第3章图像融合技术信息融合层次的划分方法二：以C3I系统为例根据信息抽象层次，将信息融合分成五级(1)检测级融合直接在多传感器的信号检测级进行的融合。(2)位置级融合在各单个传感器的输出信号上的融合，既包括时间融合(状态)也包括空间融合(轨迹)。22第3章图像融合技术(3)目标识别级融合根据检测到的目标属性对目标识别分类。(4)态势评估融合在目标识别基础上对整个场景进行分析和评估，将各种目标、事件的属性和行为结合起来，以描述场景中的活动。(5)威胁估计融合态势强调的是状态，而威胁更强调趋势。威胁估计融合不仅要考虑状态信息还要结合先验知识，获取状态变化的趋势和事件可能的后果。信息融合层次的划分23第3章图像融合技术三种结构形式：串联、并联和混合融合形式。信息融合的结构形式24第3章图像融合技术3.2图像融合3.2.1图像融合的主要步骤3.2.2图像融合的三个层次3.2.3图像融合效果评价3.2.4像素级融合示例25第3章图像融合技术3.2.1图像融合的主要步骤(1)图像预处理图像归一化：灰度均衡、重采样、灰度插值……图像滤波：对高分辨率图像进行高通滤波，增强图像的色彩和图像的边缘。(2)图像配准相对配准：从同类的多个图像中选择某一波段图像作为参考图像。绝对配准：以同一空间坐标系为参考系。(3)图像融合26第3章图像融合技术3.2.2图像融合的三个层次多传感器图像融合三级流程像素级融合在特征提取前进行特征级融合在属性说明前进行决策级融合在各传感器数据独立属性说明后进行27第3章图像融合技术三种融合方式的主要特点：3.2.2图像融合的三个层次融合级融合层次信息损失容错性抗干扰能力精度实时性计算量像素级低小差差高差大特征级中中中中中中中决策级高大优优低优小28第3章图像融合技术三种融合方式中常用的一些融合技术和方法像素级融合方法特征级融合方法决策级融合方法加权平均法金字塔融合法HIS变换法PCA变换法小波变换法高通滤波法Kalman滤波法回归模型法参数估计法加权平均法贝叶斯法证据推理法（D-S法）神经网络法聚类分析法熵法表决法基于知识的融合法贝叶斯法证据推理法（D-S法）神经网络法模糊集理论法可靠性理论逻辑模块法产生式规则法粗糙集理论法29第3章图像融合技术3.2.3图像融合效果评价1.主观评价(1)判断图像配准的精度：如果配准不好，融合图像会出现重影。(2)判断融合图像的整体色彩：如果能与天然色彩保持一致，则融合图像的色彩就真实。(3)判断融合图像的整体亮度和色彩反差：如果不合适，会出现蒙雾或斑块等现象。(4)判断融合图像的纹理及彩色信息是否丰富：如果有丢失，则融合图像会显得比较平淡。(5)判断融合图像的清晰度。30第3章图像融合技术3.2.3图像融合效果评价2.基于统计特性的客观评价(1)均值(2)标准差：较小，表明相邻像素间的对比度较小，图像整体色调比较单一，可观察到的信息较少。(3)平均灰度梯度：平均梯度较大，图像一般比较清晰。211001,NNxygxyNN111/222001,,NNXYxyAGxyGxyNN31第3章图像融合技术3.2.3图像融合效果评价(4)灰度偏差D：反映融合图像与原始图像间在光谱信息上的差异。D较小，表明融合后的图像较好地保留了原始图像的灰度信息(5)均方差E：理想图像和融合图像之间的差异。1100,,1,NNxygxyfxyDNNfxy1/2112rms001,,NNxyEgxyixyNN34第3章图像融合技术3.2.3图像融合效果评价3.基于信息量的客观评价熵——衡量图像中信息量的丰富程度。交叉熵：反映了两幅图像所含信息量的相对差异。交叉熵越小，融合图像从原始图像中得到的信息量越多。相关熵：衡量图像中信息量的丰富程度。互信息：反映两幅图像间的信息联系。0logLlHhlhl35第3章图像融合技术3.2.3图像融合效果评价4.依据融合目的评价(1)融合的目的是去除图像中的噪声，可采用基于信噪比的评价指标。(2)融合的目的是提高图像分辨率，可