Image-fusion-algorithm-based-on-improved-nonlinear

ComputerEngineeringandApplications计算机工程与应用2014，50（14）1引言单一传感器无法获取完整的场景信息，因此能够得到信息更加全面的多源图像融合的算法应运而生，图像融合是指将两幅或多幅包含不同信息的图像融合成一幅信息量最大化的图像，以获得更多信息，在医学遥感、军事等领域有着广泛的应用前景[1-2]。图像融合问题已经得到了广泛的研究，也取得了丰硕的成果，目前图像融合主要从三个层次进行，即像素级、特征级和决策级[3]。像素级融合是最低级别的融合，像素为源图像中的原始像素信息；特征级融合是基于形状、边缘、纹理等特征的融合；决策级融合是最高层的操作，将不同的判别结果在决策阶段按照设定的融合规则进行融合[4]。图像融合根据层次的不同，分为不同的融合算法，当前图像融合算法大致可归为两类：多分辨率方法和加权平均法[5]。多分辨率融合法是指对源图像进行某种变换，利用不同策略在变换域对变换系数进行融合，反变换得到融合图像，包括变换方法选取和融合策略设计两方面，变换方法主要有：轮廓波、小波、金字塔、曲波等变换方法[6-10]，融合策略的设计十分灵活，该类算法可以有效提高图像熵值和对比度等优势，但在融合过基于改进非线性加权的图像融合算法杨秋芬1，2，桂卫华1，胡豁生1YANGQiufen1，2,GUIWeihua1,HUHuosheng11.中南大学信息科学与工程学院，长沙4100832.湖南广播电视大学理工教学部，长沙4100041.CollegeofInformationScienceandEngineering,CentralSouthUniversity,Changsha410083,China2.DepartmentofScienceandEngineeringEducation,HunanRadio&TVUniversity,Changsha410004,ChinaYANGQiufen,GUIWeihua,HUHuosheng.Imagefusionalgorithmbasedonimprovednonlinearweight.ComputerEngineeringandApplications,2014,50（14）：22-25.Abstract：Inordertoimprovethequalityandefficiencyofimagefusion,thispaperproposesanimagefusionalgorithmbasedonimprovednonlinearweight.Firstly,thenonlinearweightedvalueoftheimageiscalculated,andthepyramidGaussimageisusedtosmoothimage,andthentheoriginalandsmoothedimagesaredifferentandaccumulatedtoachieveimagefusion,finally,thesimulationexperimentisusedtotesttheperformanceofthealgorithm.Theexperimentalresultsshowthat,thealgorithmmakestheimagefusiontransitioneffectismorenatural,itsignificantlyimprovesthefusionrate,canmeetthedemandofreal-timeimageprocessingsystem,theimagefusioneffectcomparedwiththetradi-tionalalgorithmismoreideal.Keywords：imagefusion;nonlinearweighted;nonsubsampledcontourlettransform;qualityassessment摘要：为了改善图像融合的质量和效率，提出了一种非线性加权的图像融合算法。首先计算图像的非线性加权值，并采用金字塔高斯对图像进行平滑处理，然后对原图和平滑后图像融合，得到图像融合结果，最后采用仿真实验对算法性能进行测试。实验结果表明，该算法使图像融合过渡效果更加自然，提高了融合速率，可以满足图像处理系统实时性的需求，获得了比传统算法更加理想的图像融合效果。关键词：图像融合；非线性加权；降采样轮廓波变换；质量评价文献标志码：A中图分类号：TP319doi：10.3778/j.issn.1002-8331.1402-0127基金项目：湖南省科技厅资助项目（No.2012GK3096）；湖南省教育厅资助项目（No.12C1158）；湖南省十二五规划课题（No.XJK013BXX006）。作者简介：杨秋芬（1973—），女，博士，副教授，主要研究方向为计算机视觉、人脸识别；桂卫华（1951—），教授，工程院院士，主要研究方向为智能控制、自动化；胡豁生（1951—），男，教授，博士生导师，主要研究方向为伺服机器人、计算机视觉。收稿日期：2014-02-17修回日期：2014-04-09文章编号：1002-8331（2014）14-0022-04CNKI网络优先出版：2014-04-09,，50（14）程中，由于采用变换系数法，改变了源图像中的像素值大小，易产生“毛刺”、“虚轮廓”等不足。加权平均法具有速度快、简单等优点，但却存在计算复杂度高，重影严重等缺陷，为此有学者在此基础上提出了线性加权图像融合算法，先进行加权，然后再进行叠加和平均，以提高图像融合效果[11-13]。为了改善图像融合的质量和效率，提出了一种改进非线性加权的图像融合算法，并采用仿真实验对算法性能进行测试。实验结果表明，本文算法可以满足图像处理实时性需求，获得了理想的融合效果。2拉普拉斯金字塔图像融合方法多频带融合方法是一种经典的图像融合方法，最先由P.J.Burt等提出，它首先采用拉普拉斯金字塔结构，将图像分解成不同频率域上的图像，然后在每个频率域上对图像重叠区域附近加权平均，最后将所有频率上的子带图像重构成一幅总图像，该方法图像融合质量高，但计算复杂度高，图像融合效率低。2.1高斯金字塔分解设原图像为G0那么图像第l的图像Gl(0lN)可以表示为：Gl(ij)=åm=-22ån=-22ωˉ(mn)Gl-1(2i+m2j+n)（1）式中，N为层号；Rl和Cl分别为第l层的行数和列数；ωˉ(mn)是一个2维可分离的5×5窗口函数，ωˉ(mn)可以表达式为：ωˉ(mn)=1256éëêêêêêêêêùûúúúúúúúú1464141626166614362444162416114641（2）这样，G0G1GN构成了高斯金字塔，G0为金字塔的底层，GN为金字塔的顶层，高斯金字塔的当前层图像是对其前一层图像先进行高斯低通滤波，然后作隔行和隔列的降2采样而生成的，当前层图像的大小依次为前一层图像大小的1/4。2.2拉普拉斯金字塔生成令Glk是通过扩展Gl的k次而获得的图像，可得：G*l=4ååmn=-22ωˉ(mn)Gl(2i+m22j+n2)（3）式中：G*l(2i+m22j+n2)=ìíîïïGl(2i+m22j+n2)2i+m22j+n2为整数0其他（4）令：ìíîLPl=Gl-Gl+11LPN=GN（5）式中，Ll是拉普第l层图像；N为拉普拉斯金字塔顶层的层号。这样，由LP0LP1LPN构成拉普拉斯金字塔。2.3图像重构（1）分别由图像A和图像B构造出其相应的拉普拉斯金字塔，LA和LB。（2）为图像R构造一组高斯金字塔GR。（3）以GR中的值为权重，从LA和LB构造出拉普拉斯金字塔LS对于每个ijl有：LSl(ij)=GRl(ij)LAl(ij)+(1-GRl(ij))LBl(ij)（6）（4）拼接图像S通过扩展和累加各层LS而得到。3改进的融合方法传统图像融合效果非常好，但其计算复杂度高，融合时间长，影响图像融合的实时性。为了解决该难题，本文借鉴了多频带融合算法的思想：对重合图像部分的权重mask进行一次非线性变换来模拟多频带融合过程中的权重系数生成过程，提出了一种改进非线性加权图像方法。3.1算法改进的思想首先将图像重叠区域划分为三个子区域，各区域宽度取值范围为[3W/85W/8][W/43W/4]和[0W]W为重叠部分的宽度，具体如图1所示。构造加权因子F：F=1.0max(2W/4)´2level（7）式中，level为频带数。待融合图像的加权系数f计算公式为：f=max(0min(1F×(W/2-x)+0.5))（8）式中，x表示横坐标。图2给出融合mask，其从左到右分别为W/4、W/2、W。3.2改进算法的工作步骤（1）收集待融合的图像，并进行相应的预处理。（2）计算出加权因子F并对F进行高斯平滑滤波。（3）计算非线性加权系数矩阵w从而得到非线性yxOW/2WH图1非线性加权融合中重叠区域的划分杨秋芬，桂卫华，胡豁生：基于改进非线性加权的图像融合算法23ComputerEngineeringandApplications计算机工程与应用2014，50（14）加权mask。（4）采用拉普拉斯金字塔法对待融合的图像进行多尺度分解，得到各个尺度的平滑图像。（5）根据式（9）对图像进行融合。Ib(xy)=ål=1N{wl×[IiL(xy)-IlL(xy)]+ (1-wl)×[IiR(xy)-IlR(xy)]}（9）式中，wl为权重系数；Ib(xy)为融合后图像；IiL(xy)和IiR(xy)为两幅重合图像；IlL(xy)和IlR(xy)为第l级高斯图像。（6）得到融合后的图像，并对其效果进行分析。4仿真实验4.1仿真环境为了验证本文算法的有效性与优越性，与文献[14]的图像融合算法进行对比实验。仿真实验的平台为：Intel双核2.8GHzCPU，4GBRAM，WindowsXP操作系统，并采用VisualStudio2008软件编程实现仿真实验。4.2评价标准图像评价可以从主观和客观两个方法进行评价，主观主要通过人的视觉进行评价，本文选取信息熵、平均梯度作为评价融合图像质量的客观指标，分别定义如下[15]：（1）信息熵是描述一幅图像所含信息量的大小。一般来说，熵值越大，图像所含的信息量就越多，融合效果就越好，熵计算公式为：EN=-åi=0L-1pilbpi （10）式中，pi表示图像中灰度值为i的概率；EN表示信息熵值。（2）平均梯度反映了融合图像在微小细节表达能力上的差异，平均梯度越大，则图像越清晰，计算公式为：G=1M´Nåi=1Måj=1NDI2x+DI2y2（11）式中，DIx和DIy分别表示图像在x和y方向的差分。4.3结果与分析4.3.1主观视觉评价图3~5分别为待融合图像，文献[14]与本文算法融合结果如图6~8所示。对图6~8中的算法融合结果进行对比，可以清楚看出，本文算法的融合效果明显高于文献[14]的图像融合算法，融合后的图像更加清晰，图像的边缘也很清楚，达到令人满意的效果，而对比算法其融合结果图像较模糊，图像中的物体欠清晰。4.3.2客观评价结果采用客观评价指标对上述融合后的图像做定量分析，结果如表1所示。对表1进行分析，可以知道，本文算法的各种评价指标均优于对比算法，能够有效地改善线性融合带来的重影现象。4.3.3融合速度对比由于图像融合速度影响算法的适用性，在相同条件下，统计3组图像融合的平均时间来描述图像处理速图2非线性加权mask示意图（a）待融合图像1（b）待融合图像2图3图像1（a）待融合图像1（b）待融合图像2图4图像2（a）待融合图像1（b）待融合图像2图5图像3（a）文献[14]（b）本