图像融合研究综述

龙源期刊网图像融合研究综述作者：王春华来源：《科技创新导报》2011年第13期摘要:本文介绍了图像融合的发展过程,以及国内外发展状况。并对图像融合的层次进行了分析,对各层做了详细介绍并做了对比。详细介绍了像素级图像融合的算法,对算法进行了比较分析,然后对融合后图像的评价做了介绍。最后对图像融合研究做出了展望。关键词:图像融合小波变换融合效果评价中图分类号:TP391文献标识码:A文章编号:1674-098X(2011)05(a)-0011-03序言当今,在计算机、电子信息等科学技术迅速发展的同时,也带动了传感器技术的飞速发展。多传感器使系统获得的信息量急剧增加并且呈现多样性和复杂性,以往的信息处理方法已无法满足这种新的情况,必须发展新的方法和技术来解决我们所面临的新问题[1]。信息融合正是为了满足这种需求而发展起来的一种新技术。多传感器信息融合是指对来自多个传感器的信息进行多级别、多方面、多层次的处理与综合,从而获得更丰富、更精确、更可靠的有用信息。图像融合技术是多传感器信息融合的一个重要的分支,近二十年来,引起了世界范围内的广泛关注和研究[2]。目前,图像融合技术在自动目标识别、遥感、机器人、医学图像处理以及军事应用等领域都表现出巨大的应用潜力。例如,红外图像与可见光图像的融合可以帮助飞行员进行导航;CT与核磁共振MRI图像的融合有利于医生对疾病进行准确的诊断等。因此,对图像融合技术展开深入的研究,对于国民经济的发展和国防事业的建设均有重要的意义。1图像融合研究现状1.1图像融合概述图像融合是指将2个或2个以上的传感器在同一时间(或不同时间)获取的关于某个具体场景的图像或者图像序列信息加以综合,生成一个新的关于这一场景的解释,这一解释是从单一传感器获得的信息中无法得到的[3]。龙源期刊网目前,美国、德国、日本等国家都在开展图像信息融合研究,在不同层次上开展了大量的模型和算法研究,相关的研究内容大量出现在美国三军数据融合年会、IEEE图像处理会议和相关的期刊中,并研制出了一些实用的处理系统和软件。国内对图像融合技术研究起步较晚,主要有一些研究机构和大学从事这一领域的研究和探讨,例如中科院遥感所、中科院上海技术物理研究所等单位。从目前的发展水平来看,国内的研究与世界水平还存在一定差距,大都局限在理论研究的初始阶段,还没有商品化的成熟软件或系统平台推出。1.2图像融合技术发展状况早期的图像融合方法主要有平均、HIS变换、主分量分析、高通滤波等。这些方法在进行融合处理时都不对参加融合的图像进行分解变换,融合处理只是在一个层次上进行,属于较为简单的图像融合方法。到80年代中期,出现了基于金字塔分解的图像融合方法,其中包括拉普拉斯金字塔、梯度金字塔、比率低通金字塔等。90年代以后,随着小波理论的广泛应用,小波变换技术为图像融合提供了新的工具,使图像融合技术的研究呈不断上升趋势,应用的领域也遍及到遥感图像处理、计算机视觉、自动目标检测、医学图像处理等。随着对多源图像融合技术研究的深入,图像融合技术必将会得到更为广泛的应用和发展。2图像融合层次图像融合是采用某种算法对两幅或多幅不同的源图像进行综合处理,形成一幅新的图像。根据融合处理所处的阶段不同,图像的融合处理通常可以在三个不同层次上进行:像素级(Pixel-level)、特征级(Feature-level)和决策级(Decision-level)[2]。图1示意了在图像处理的全过程中,图像融合所处的位置与层次。2.1像素级图像融合像素级图像融合是在严格配准的条件下,对各传感器输出的图像信号,直接进行信息的综合与分析。像素级图像融合直接在原始数据层上进行融合,主要任务是对多传感器目标和背景要素的测量结果进行融合处理,它的融合准确性最高,能够提供其它层次上的融合处理所不具有的更丰富、更精确、更可靠的细节信息,有利于图像的进一步分析处理。像素级图像融合是目前在实际中应用最广泛的图像融合方式,也是特征级图像融合和决策级图像融合的基础[3]。但是与其它两个层次的融合相比,像素级融合需要处理的信息量大,处理时间长,对设备的要求也比较高。在进行像素级图像融合之前,必须对参加融合的各图像进行精确的配准,其配准精度一般应达到像素级,因此,像素级融合是图像融合中最为复杂且实施难度最大的融合。像素级融合能提供其它融合层次所不能提供的细微信息。但也有以下缺点:处理的数据量大、时间长、效率低,对图像的要求高、数据源难获取,抗干扰能力差。龙源期刊网特征级图像融合特征级图像融合是对源图像进行预处理和特征提取后获得的特征信息(如边缘、形状等)进行综合[3]。特征级融合是在中间层次上进行的信息融合,它既保留了足够数量的重要信息,又可对信息进行压缩,有利于实时处理。它使用参数模板、统计分析、模式相关等方法完成几何关联、特征提取和目标识别等功能,以利于系统判决。在特征级图像融合过程中,由于提取的特征直接与决策分析有关,因而融合结果能最大限度给出决策分析所需要的特征信息。虽然在模式识别、计算机视觉等领域,己经对特征提取和基于特征的图像分类、分割等问题进行了深入的研究,但这一问题至今仍是计算机视觉领域的一个难题,有待于从融合角度进一步研究和提高。特征级融合将图像所含信息的特征进行提取并压缩,使图像有利于实时处理,但是在压缩提取的过程中不可避免地会出现信息的丢失,这就使得融合后图像的细微部分信息不全。2.3决策级图像融合决策级图像融合是根据一定的准则以及每个决策的可信度做出最优决策。决策级融合是高层次的信息融合,每个传感器已完成了目标提取与分类之后,融合系统根据一定的准则以及每个决策的可信度做出决策融合处理。此种融合实时性好,并具有一定的容错能力,但其预处理代价较高,图像中原始信息的损失最多。决策级融合方法主要是基于认知模型的方法,需要大型数据库和专家决策系统,进行分析、推理、识别和判决[4]。决策级融合的数据量少,对通信及传输要求低。在融合过程中,能够对数据的干扰通过适当的融合方法予以消除,并能够全方位地反映目标及环境的信息,满足不同应用的需要。三个层次的图像融合都有各自的优缺点,在实际应用中,要根据具体的需要和不同层次融合的特点进行选择,以获得最优的融合结果。在表1中对三种融合层次作了比较。3像素级图像融合在学习了图像融合的方法后,我们得出结论:像素级图像融合是最基本、最重要的图像融合方法,同时,它也是获取信息量最多,检测性能最好,适用范围最广,实施难度最大的一种融合方法[5]。像素级图像融合的主要目的是使融合后的图像包含更全面、更精确、更突出、更可靠的信息,使获得的图像更符合人或机器的视觉特性,更利于对其作进一步的分析、理解以及目标的识别或跟踪。3.1像素级图像融合的一般步骤龙源期刊网图像的除噪对来自同一场景的多幅带有不同噪声的或者来自不同传感器的图像,如果直接进行融合,必然使噪声融入到融合图像中,这是图像数据融合结果不够理想的主要原因[6]。所以,在进行图像融合之前,必须要对每一幅图像进行预处理。首先要分析和研究图像的特点,然后针对各自的特点采用合适的方法进行图像的噪声去除(滤波),即把每一幅被污染的图像数据通过预处理恢复到一个比较好的结果。3.1.2图像的边缘提取图像的边缘是图像的特征之一,它是图像配准和基于特征的图像融合的前期工作。边缘表示了信号的突变,能勾画出区域的形状,包含了图像中大量的信息,边缘检测是图像分析的重要内容。边缘信息的提取是进行下一步图像处理的基础。3.1.3图像的配准如果描述同一场景的图像来自不同的传感器,由于传感器之间存在着角度以及视景范围的不同,图像会产生一些差异,表现是图像不完全对准,即这幅图像的第一行\列像素对应到另一幅图像中并不是相同的行\列。例如人的左眼和右眼看到的视景范围是不同的,但大脑在处理两只眼睛捕获的图像时有一个配准的过程。图像配准是图像融合的基本环节,只有经过配准后的图像才能进行有效的融合,而且图像配准的质量将直接影响融合的结果[7]。3.1.4图像的融合图像经过预处理,配准等前期工作之后,就可以进行融合处理了。这一步是图像融合的核心,如何针对不同的融合应用领域,设计合理有效的融合算法是图像融合研究的重点。3.2像素级图像融合的研究方法现有的像素级图像融合方法可以归纳成三个阶段:传统的简单融合方法、基于塔式分解和重建的融合方法以及基于小波变换的图像融合方法。小波变换可以将图像分解成一个最低层逼近和不同尺度不同方向的细节,是目前图像融合领域的主流方法。但在高维情况下,小波分析不能充分利用图像本身的几何特征,并不是最优和“最稀疏”的函数表示方法。3.2.1传统的图像融合方法龙源期刊网线性加权法,是一种最简单的图像融合方法,它直接对多幅原图像的对应像素点进行加权叠加。如果为n幅图像在对应位置的灰度值,那么融合后图像为:(1)(2)线性加权法概念简单,计算量小,适合实时处理。其缺点是融合后的图像包含很强的噪声特别是当融合图像的灰度差异很大时,就会出现明显的拼接痕迹,视觉效果差。HPF法(高通滤波法)实现图像融合的概念比较简单。一幅多光谱图像通常由不同的频率成分组成。HPF法用高通滤波器算子提取出高分辨率图像的细节信息,然后采用像素相加的方法,将提取出的细节信息叠加到低分辨率图像上,实现低分辨率图像和高分辨率图像之间的数据融合。高通滤波法简单、计算量小、没有波段数的限制,改善分辨率的同时又保持了多光谱图像的光谱信息。缺点是难以完全提取出包含不同尺寸地面物体的高分辨率图像的细节信息,融合图像仍然含有较大的噪声[8]。PCA(主分量分析)法,首先对图像进行主分量变换,由相关矩阵求特征值和特征向量求得各主分量,通过这种融合,可以尽可能多地保留全色图像的细节信息;然后对融合后的图像进行反变换,得到包含丰富细节信息的融合图像。IHS变换法,是在遥感图像融合中经常用到的一种方法,它将多光谱的TM图像数据变换到IHS空间,得到3个独立的分量。首先将SPOT图像数据经过适当的伸缩,以保证它的均值和方差变换到和I分量一致,然后用伸缩后的数据替换I分量,得到I1,再分别对H和S进行反差扩展,得到H1和S1,最后将I1,H1和S1变换回RGB空间,得到融合图像[9]。3.2.2多分辨融合算法高斯金字塔、拉普拉斯金字塔、比率低通金字塔等被统称为多分辨金字塔,多分辨金字塔是目前较为常用的图像融合方法。在这类算法中,原图像不断地被滤波,形成一个塔状结构。在塔的每一层都用一种算法对这一层的数据进行融合,从而得到一个合成的塔式结构[9]。然后对合成的塔式结构进行重构,得到合成的图像,合成图像包含了原图像的所有重要信息。3.2.3小波变换法小波变换是对图像在不同频率通道上进行处理,首先将源图像进行小波分解,得到一系列子图像,再在变换域上进行特征选择,创建融合图像,最后通过逆变换重建融合图像[10,11]。与金字塔方法相似,小波分解过程中同样会产生一个小波金字塔。但金字塔方法产生的数据有冗余,且不同级的数据之间相关,而小波变换方法则能克服这两点缺陷,并能更加有效地描述图像在时域和频域上的局部特征。龙源期刊网评价方法融合后的图像应保留原图像的重要细节,且不引入虚假信息,这就需要对融合的效果进行评判。图像融合效果评价一般根据不同的融合目的选取评价方法,再根据评价方法选取评价指标。当前融合效果的评价还没有一个全面、客观和统一的标准。图像融合效果评价方法主要有:客观评价法、主观评价法。一般在评价融合图像效果时,以视觉分析为主,定量分析为辅。4.1客观评价客观评价主要有基于信息量的评价、基于统计特性的评价、基于梯度值的评价和基于小波能量的评价等。基于信息量的评价的主要指标有熵、交叉熵、联合熵等[9]。基于统计特性的评价指标有均