13第十三讲 信息融合与目标跟踪课件 图像融合

第十三讲图像融合主要内容图像融合概述图像融合简介图像配准方法图像融合方法融合效果评价主要内容图像融合概述图像融合简介图像配准方法图像融合方法融合效果评价1.什么是图像融合？图像融合(ImageFusion)是用特定的算法将两幅或多幅图像综合成一幅新的图像。融合结果由于能利用两幅(或多幅)图像在时空上的相关性及信息上的互补性，并使得融合后得到的图像对场景有更全面、清晰的描述，从而更有利于人眼的识别和机器的自动探测。图像传感器A图像传感器B冗余信息互补信息一、图像融合概述起源：20世纪70年代初2.图像融合技术的研究现状及发展一、图像融合概述20世纪70年代初，美国研究机构发现，利用计算机技术对多个独立的连续声纳信号进行融合后，可以自动检测出敌方潜艇的位置。这一尝试使得信息融合作为一门独立的技术首先在军事应用中得到青睐。发展：20世纪80年代－20世纪末2.图像融合技术的研究现状及发展一、图像融合概述20世纪80年代后，对信息融合技术的研究更加活跃；国际上，关于信息融合的专著论文等数量可观；图像融合在军事和民用等诸多领域得到广泛的应用。完善：20世纪末－今2.图像融合技术的研究现状及发展一、图像融合概述由于其研究领域覆盖范围的广泛性、多传感器数据形式的多样性以及融合处理的多样性和复杂性，信息融合理论至今尚未形成系统的理论框架和有效的通用融合模型和算法。大部分研究工作都是针对特定应用领域的问题来展开的。国内出版物参考书国内出版物[1]覃征等,数字图像融合,西安交通大学出版社,2005年[2]张永生等,天基多源遥感信息融合—理论算法与应用系统,科学出版社,2005[3]韩崇昭等,多源信息融合,清华大学出版社,2006[4]那彦,焦李成等,基于多分辨分析理论的图像融合方法(研究生系列教材),西安电子科技大学出版社,2007[5]李振华等,图像融合—理论与应用,高等教育出版社,2007[6]胡良梅等,基于信息融合的图像理解方法研究,合肥工业大学出版社,2007.[7]郭雷,李晖晖等,图像融合,电子工业出版社,2008[8]刘卫光等,图像信息融合与识别,电子工业出版社,20083.图像融合的应用领域一、图像融合概述近年来，图像融合(ImageFusion)技术得到迅猛发展，在遥感探测、安全导航、医学图像分析、反恐检查、环境保护、交通监测、清晰图像重建、灾情检测与预报等领域都有着重大的应用价值。医学图像分析：一、图像融合概述一、图像融合概述医学图像分析：PETCTFusedimage遥感遥测：一、图像融合概述SpatialSpectral+panchromatic&highgeometricresolutionmulti-/hyperspectralimage&lowgeometricresolutionmulti-/hyperspectral&highgeometricresolution遥感遥测SurveillanceandTargetingNavigationSatellitesGuidance/DetectionSystems一、图像融合概述主要内容图像融合概述图像融合简介图像配准方法图像融合方法融合效果评价1、不同成像传感器图像的融合电视图像(TV/VisibleImage)红外/紫外图像(Infrared/UVImage)合成孔径雷达(SyntheticApertureRadar，SAR)超声图像(UltrasonicImage)X-RAY,CT,PET核磁共振(Magneticresonanceimaging,MRI)二、图像融合简介因此，红外图像融合包括与不同成像传感器图像的融合，及不同波段的红外图像的融合。2、图像融合的层次（或级）①像素（pixels)级融合——对应像素的融合。②特征(Feature)级融合——对应特征的融合③决策(decision-making)级融合——在①、②级基础上，通过分类、识别和综合评价，进行的最后决策。二、图像融合简介图像1图像配准图像n图像2融合评价结果特征提取图像1图像配准图像n图像2融合评价结果图像1特征识别图像n图像2融合评价结果特征提取像素级融合决策级融合特征级融合二、图像融合简介可见光图像远红外图像融合结果一融合结果二二、图像融合简介可见光图像红外图像融合结果一融合结果二二、图像融合简介FocusonrightpartFocusonleftpartImagetakenusingautofocusfunctionFusedimage二、图像融合简介3、图像融合的基本流程图像1图像配准图像n图像2融合评价结果特征提取图像预处理二、图像融合简介主要内容信息融合概述图像融合简介图像配准方法图像融合方法融合效果评价IRMMWRADARSATIRSMRT2CTPETMRT1Multi-modalityRegistrationExamples2图像配准简介图像配准是是像素级图像融合的先决条件，从不同探测器、不同时间、不同角度所获得的两幅或多幅图像在空间上的最佳匹配。其中一幅是参考图像数据，其它图像作为待配准图像与之匹配。图1待配准图像图2参考图像三、图像配准(ImageRegistration)21(,)[((,))]fxygfhxy三、图像配准配准原理图1与图2之间存在一个缩放、旋转、平移的关系，图像配准的目标就是找到这三种变换的对应关系。即：其中g表示二维空间坐标变换。配准的目的就是要找出最佳坐标，灰度变换参数。Figure3:FeatureDetectionFigure4:FeatureMatching(ImagesadaptedfromZitova,2003)ImageRegistrationImageRegistrationFigure5:TransformationModelEstimationFigure6:ImageResamplingandTransformation(ImagesadaptedfromZitova,2003)配准步骤图像配准的过程也就是“确定空间变换模型——求解变换模型参数”的过程。1.搜索空间2.特征空间3.搜索策略4.相似性度量搜索空间是待配准的图像坐标之间所有可能的变换关系。例如：刚体变换仿射变换投影变换非线性变换等三、图像配准配准步骤图像配准的过程也就是“确定空间变换模型——求解变换模型参数”的过程。1.搜索空间2.特征空间3.搜索策略4.相似性度量三、图像配准从待配准的图像中提取出来用于匹配的特征，包括边缘、轮廓、面目标拐角、曲线上的交叉点和高曲率的点等地物特征以及人工选取的配准控制点等外部特征。配准步骤图像配准的过程也就是“确定空间变换模型——求解变换模型参数”的过程。1.搜索空间2.特征空间3.搜索策略4.相似性度量在搜索空间寻找最佳的变换模型参数的过程中所采用的方法。三、图像配准配准步骤图像配准的过程也就是“确定空间变换模型——求解变换模型参数”的过程。1.搜索空间2.特征空间3.搜索策略4.相似性度量衡量搜索空间中不同的参数变换模型的优异程度。三、图像配准图像几何变换对图像进行重新采样和插值配准实例待匹配图像参考图像匹配图像与参考图像的叠加效果三、图像配准通过相关判据求出匹配点求解仿射变换参数11122122xytaaxxtaayy特征点匹配点三、图像配准50100150200250501001502002505010015020025050100150(c)0.40,0,62.5,12.550100150200250501001502002500.41436,-3.1482,64.1023,14.21385010015020025050100150200250OriginalimagesResultsExample10.36289,-4.5404,53.8153,-6.29465010015020025050100150200250501001502002505010015020025050100150200250501001500.36,0,61.5,-5.55010015020025050100150200250OriginalimagesResultsExample2主要内容信息融合概述图像融合简介图像配准方法图像融合方法融合效果评价简单组合式图像融合方法逻辑滤波器法数学形态法图像代数法空间域融合方法HIS变换PCA变换高通滤波法(HPF)塔式分解法变换域融合方法小波变换法四、图像融合方法常用的融合方法四、图像融合方法1、空间域融合方法常见的融合规则：对应像素取最大值对应像素取最小值对应像素取平均值加权平均法逻辑运算简单组合融合（取小）融合实例对应像素取平均融合实例对应像素加权平均融合实例RGB-IHS变换法。Brovery变换法。四、图像融合方法2、颜色空间变换法IHS(Intensity，Hue，Saturation)四、图像融合方法(1)RGB-IHS变换法IRBG0120024000IHS柱形空间对任何3个[0,1]范围内的R、G、B值都可以用下面的公式转换到对应IHS模型中的I、H、S分量：1()3IRGB3[min(,,)]()SIRGBRGB1/22())/2arccos()()()RGRBHRGRBGB（5）RGB-IHS变换法RGBR’G’B’HIp’S彩色合成HISIHS变换Ip’代替IIHS逆变换高空间分辨率全色影像P代替I分量。逆变换过程中可有不同的变换模式,HIS变换过程也有多种模式,因此该方法有多种模型。四、图像融合方法(1)RGB-IHS变换法(2)Brovery变换法Brovery变换是一种颜色归一化变换方法，它将RGB影像进行多光谱波段颜色归一化，并将高分辨率全色影像与各个波段灰度值分别相乘得到融合影像。PifiDDDDDD321融合后的第i个波段影像的灰度值原波段影像的灰度值高分辨率影像的灰度值四、图像融合方法四、图像融合方法3、小波变换法首先，将已经配准后的两幅（或多幅）图像分别进行小波变换，分解为小波系数；然后，将其对应的小波系数依据一定的准则进行融合，最后，将融合的系数进行逆变换，进行图像重构，即可获得融合后的图像。该方法充分利用了小波分解的多尺度、多分辨特性。低频四、图像融合方法小波变换示意图WaveletTransform小波变换示意图四、图像融合方法小波1级及2级分解图示图像B图像A一层小波分解小波系数矩阵一层小波分解小波系数矩阵融合决策融合规则融合后的小波系数矩阵矩阵恢复融合后的图像LLLHHLHH小波变换图像融合流程四、图像融合方法融合规则多数融合算法都是基于这样的假设，即图像中的特征都表现在小波系数绝对值大的地方，因此出现了一些基本规则：四、图像融合方法(1)取最大值(2)加权平均法(3)方差协方差准则(4)梯度准则(5)局部能量法小波变换图像融合Malab代码四、图像融合方法[X,map]=imread('E:\Fusion_img\TV_002.bmp');X1=X;map1=map;subplot(2,2,1);image(X1);colormap(map1);title('电视图像');[X,map]=imread('E:\Fusion_img\IR_002.bmp');X2=X;map2=map;subplot(2,2,2);image(X2);colormap(map2);title('红外图像');[c1,l1]=wavedec2(X1,1,'sym4');[c2,l2]=wavedec2(X2,1,'sym4');c=0.5*(1.2*c1+0.8*c2);XX=waverec2(c,l1,'sym4');subplot(2,2,3);image(XX);title('融合结果一');Csize1=size(c1);