基于小波变换的多聚焦图像融合方法

基于小波变换的多聚焦图像融合方法摘要：针对多聚焦图像融合后产生的图像边缘模糊问题，提出了一种基于小波变换的图像融合算法。用Mallat算法对多聚焦图像进行小波分解，得到低频图像和高频图像。对低频图像采用空间频率和对比度进行融合，对高频图像采用基于Canny算子的边缘检测融合方法进行融合，然后对融合后的图像使用小波逆变换得到融合后图像。通过仿真实验验证了算法的有效性，对实验结果进行主客观的评价，评价结果表明该方法得到的融合图像具有较好的主观视觉效果和客观量化指标，效果明显优于传统方法。关键字：图像融合；小波变换；空间频率；对比度Multi-focusImageFusionBasedonWaveletTransformAbstract:Inordertosolvetheblurproblemofimageedgeproducedbymulti-focusimagefusion,amulti-foucusimagefusionalgorithmbasedonwavelettransformisproposed.TheimageisdecomposedbyMallatalgorithmwavelettransformandwecanobtainthelow-frequencyandhigh-frequencyimages.Afterthat,differentwaysareusedtodealwiththelow-frequencyinformationandhigh-frequencyinformation.Thelow-frequencycoefficientbasedonspatialfrequencyandcontrastandhigh-frequencycoefficientbasedonaCannyedgedetectionoperator.Thenthoseimagearefusedbytheinversewavelettransform.Thesimulationresultsshowtheeffectivenessofthealgorithm.Theexperimentalresultsofsubjectiveandobjectiveevaluationindicatethatthefusedimageobtainedbythismethodhasbettersubjectivevisualeffectandobjectivequantitativeindicators,betterthantraditionalmethods.Keywords:imagefusion；wavelettransform；spatialfrequency；contrast1引言图像融合是数据融合的一个重要分支，图像融合将同一对象的两个或多个图像合成在同一幅图像中，充分利用多幅图像资源，把多幅图像的互补信息依据某种准则融合，获得更适合进一步处理需要的图像，如目标识别，图像分析等。融合后的图像与原图像相比，信息更全面、精确，包含了原图像的互补信息和冗余信息，能有效地提高图像信息的利用率和系统对目标识别的可靠性。故图像融合在军事领域，遥感、医学领域、机器视觉上得到了广泛的应用[1]。多聚焦图像融合作为图像融合的研究内容之一，是指在相同成像条件下镜头聚焦不同的多个图像，通过图像融合可得到一个聚焦度清晰的图像。图像融合算法[2]有很多，主要有○1变换域融合方法，通过将图像变换到频域或其他变换域进行处理，如DWT，DFT等；○2色彩空间法与色彩映射法，色彩空间变换包括IHS变换等；色彩映射法主要是假彩色合成方法，它利用人眼对色彩变化的分辨率比对灰度等级变化率更为敏感的原理，利用某种假彩色技术，将包含在原始图像中的灰度信息用彩色信息表达，从而对图像细节有更细致的认识；○3多分辨率分析方法，包括金字塔方法[3]和小波分析方法等。常用的金字塔分解方法有高斯金字塔、拉普拉斯金字塔、比率低通金字塔、对比度金字塔等。BurtP提出Laplacian金字塔融合方法以后，基于Laplacian金子塔、比率低通金字塔、梯度金字塔等融合方法不断出现。塔形分解更利于人眼的识别，但在Laplacian金子塔中，不同分辨率的细节信息彼此相关，当要融合的图像差别太大时，这种相关性易引发算法的不稳定。20世纪90年代后，小波变换被应用于图像融合。小波变换与金字塔方法相比，结果没有明显的块效应，且具有更好的信噪比。运用小波变换进行的图像融合研究在频率域和空间域都可以取得更好的效果，因此成为近年来图像融合研究中的热点。在基于小波变换的图像融合[4]中，融合规则的选取决定着融合质量的好坏。常用的一些融合方法在选取融合规则时往往过于简单，虽然可以取得一定的效果，但是也存在融合图像的噪点较多，边缘模糊等问题。本文针对经典的绝对值最大法融合不准确、方差法计算量大的问题，提出了一种新的图像融合方法，通过对融合的性能进行评价说明该方法的有效性。2小波变换原理小波变换[5]是一种信号的时间-尺度分析方法。它具有具有多分辨率分析的特点，而且在时频两域都具有表征信号局部特征的能力，以获得表征信号与小波相似程度的小波系数。是一种窗口大小固定不变，但其形状可以改变，时间窗和频域窗都可以改变的局部化分析方法。小波变换的含义是把某一被称为基本小波的函数位移后，再在不同尺度a下，与待分析信号xt作内积，即1WT,d,0ftafttaaa(1)其中，a称为尺度因子，其作用是对基本小波t函数作伸缩，反映位移，其值可正可负，a和都是连续的变量，故又称为连续小波变换（CWT）。对尺度参数按幂级数进行离散化处理，对时间进行均匀离散取值（抽样率满足奈奎斯特采样定理），称为离散小波变换（DWT）。由于图像是二维的数据矩阵，本文采用离散小波变换的Mallat算法[6]。设图像函数为,fxy，记0,,CHG为一维小波滤波器的矩阵，则二维小波分解算法可以表示为'1h'1v'1d'1jjjjjjjjCHCHDGCHDHCGDGCG(2)式中：hvd,,DDD分别表示水平分量、垂直分量和对角分量矩阵；'H和'G分别是H与G的共轭转置矩阵0,1,...,1jJ；则相应的小波重构算法可以表示为''v'v'd1jjjjjCHCHGDHHDGGDG(3)3多聚焦图像融合规则目前，基于小波变换的图像融合算法的研究重点主要集中在高频内，这是由于图像经小波分解后，图像的细节信息(边缘、形状及小目标等)主要集中在高频域，其选择规则决定了融合图像对原图像的细节的保留程度，这也是人眼最敏感的部分，而低频域主要包含待融合图像的近似特性(物体的位置、地貌及图像中环境的大体描述等)，包含图像的主要能量。研究发现，无论是人眼观察还是机器识别都是以图像的主要能量为基础的，低频系数反应了图像的轮廓，其选择影响了融合图像的视觉效果，对融合图像质量的好坏起着非常重要的作用。为此，我们考虑在图像的低频域进行突破，通过低频系数获得更多的图像信息。下面我们将从对比度[7]和空间频率的角度对低频系数进行处理，本文的图像融合算法流程如下：1）将原始图像a,b进行离散小波变换。2）对于小波变换后的低频的融合规则。假设得到的低频分量为LA和LB。将低频分量分解成m*n大小的图像块，分别记为lkA和lkB。分别计算lkA和lkB的空间频率AKSF和BKSF及对比度AKC和BKC，由此可以利用下式来确定低频分量第K个子块图像的kF。22SFRFCF(4)2121,1,MNmnRFFmnFmnMN(5)2121,,1MNmnCFFmnFmnMN(6)BHBBIIICII(7),/2,,lkAKBKAKBKklklklkAKBKAKBKASFSFandCCFABelseBSFSFandCC(8)其中RF和CF分别表示行频率和列频率，式中I表示图像亮度，BI表示图像的低频部分，HI表示图像的高频部分。3）对于小波变换后的高频的融合规则。使用Canny算子[8]对各尺度的近似图像进行边缘检测。如果高频小波系数所在位置是图像的边缘，则使用方差法对其进行融合，如果不是边缘，则使用绝对值最大法对此处的小波系数进行融合。具体表示如下：设a图像第n层近似小波系数的边缘图像为naE。,naMW表示a图像第n层，M方向上的高频小波系数,,,MHVDN表示数据的3*3邻域。b图像小波系数的表示类似。(9)其中X=,naEij，Y=,nbEij，,U(,)naMVARNWij，,V=(,)nbMVARNWij，(,)VARNWij表示对,ij位置3*3邻域的小波系数求方差。4）采用小波逆变换重构图像，得到融合后的图像。图1所示为本文基于小波变换的多聚合图像的融合过程。图1基于小波变换的多聚焦图像融合过程4实验结果与评价图像融合的评价方法一般分为主观评价和客观评价。由于本文的实验没有标准的图像作比较，所以融合效果主要采用客观评价标准均值，平均梯度，标准差和熵等。1）熵[9]信息是图像包含的平均信息量多少的度量。融合图像的熵越大，说明图像中的信息量越多，融合的效果相对越好。其定义为120logLNgEpgpg(10)其中，g为图像的灰度值，pg为灰度为g的像素数与总的像素数的比值，L为级数。2）平均梯度[10]平均梯度能够反映图像对微小细节反差和纹理变化特征表达的能力，同时也反映了图像的清晰度。一般平均梯度越大，图像层次越多，融合后图像越清晰。其定义为22111,,RCxymnAGGmnGmnRC(11)其中，R为行数，C为列数，,Gmn为图像的灰度，,,1,xGmnGmnGmn，,,,1xGmnGmnGmn。3）标准差[11]图像的标准差反映了单个像素灰度相对于图像平均灰度的离散情况。标准差越大，灰度级分布越分散，越趋于合理化。其定义为10Lgggpg(12)其中111,RCmnGmnRC,,gGmn为灰度。为比较不同图像融合算法的融合效果，本文选取了如图2(a)和图2(b)的两幅清晰图像作为原始参考图像，两幅图像均为多聚焦图像。图2(a)为聚焦点在左边的图像，图2(b)为聚焦点在右边的图像。为了更好比较这种方法的融合效果，现将其与高频系数取绝对值最大法，方差法，局部梯度最大法、局部能量和最大法进行比较，在MATLAB环境下，得到以上各种方法的融合图像如图3所示:clockAclockB(a)左聚焦图像(b)右聚焦图像图2原始聚焦图像融合图像融合图像(a)绝对值最大法(b)方差法融合图像融合图像(c)局部梯度最大法(d)局部能量和最大法,b,a,a,b,b,a,b,,;(X1orY1)and(UV),;(X1orY1)and(UV),,;(X1Y1)and(,,),;(X1Y1)and(,,)naMnMnMnnnMMMnnnMMMWijWijWijWijandWijWijWijandWijWij融合图像(e)本文方法图3各种不同方法所得到的融合图像上述各种融合算法的客观数据如表1所示。表1各种不同融合方法性能比较评价标准均值标准差梯度熵绝对值最大法97.025650.3264.04937.3607方差法97.029350.263.92277.3568局部梯度最大法97.051349.90023.41117.3245局部能量和最大法97.028850.25953.93357.3546本文方法97.516450.10364.34887.3556通过分析可得出，本文提出的方法均值和梯度比其他4种方法大得多，优势