一种纹理自适应正则化超分辨率图像重建算法

一种参数自适应正则化超分辨率图像重建算法摘要：在正则化超分辨率重建算法中，正则化参数自适应对于抑制噪声和保持边缘非常重要。参数自适应通常是通过建立空间信息与参数的关系来实现的。在近期文献中，提出了一些空间信息自适应超分辨率重建方法，取得了较好的实验结果。然而在这些方法中，提取空间信息方法的计算量大，导致重建速度慢，限制了算法的应用。提出一种快速空间信息提取方法，并构建自适应参数模型，实验结果显示，该方法在大幅提高重建速度的同时，获得了更好的重建效果。关键词：正则化；超分辨率重建；参数自适应；纹理保持RegularizationImageSuper-resolutionReconstructionUsingAdaptiveParameterAbstract：Inregularizationimagesuper-resolutionreconstruction,adaptiveregularizationparameterisveryimportantforreducingnoiseandkeepingtexture.Ingeneral,regularizationparameteradjustedadaptivelyisimplementedbybuildingacalculationformulawhichrelatestheparameterwiththelocaltexturefeature.Inrecentwork,severalmethodsofadaptiveregularizationparameterwereproposedandthetestshowsthatthequalityofreconstructionisenhanced.However,inthealgorithms,calculationforlocaltexturefeaturetaketoomuchtimeanditleadtolongreconstructiontime,whichlimititsapplicability.Inthispaper,wedevelopanadaptiveregularizationapproachbasedonthefactthattheregularizationparametershouldbeafunctionoflocaltexturefeature.Theperformanceoftheproposedapproachhasbeentestedonseveralimagesandtheobtainedresultsdemonstratethesuperiorityofourapproachcomparedwithexistingmethods.Keywords：regularization，super-resolutionreconstruction，adaptiveparameter，texturepreserving0引言图像超分辨率重建是指由一幅低分辨率图像或图像序列恢复出高分辨率图像的技术，利用超分辨率重建技术可以提高现有成像设备的分辨率[1]。因此，超分辨率重建技术的研究受到了广泛的关注[2-3]。目前，该技术已经用于实际红外成像系统中[4-5]，并且，器件研发公司也已经开发出专用的信号处理硬件[6-7]。正则化方法是常用的超分辨率重建方法，在已经提出的几种正则化方法中，双边总变分正则化方法（BTV）[8]具有较好的重建效果，该方法能够在去除噪声的同时又能较好的保持图像的边缘信息，其形式如下：11argmin{}NkkXkpplmlmxylpmpXYDHFXXSSX(1)式中：p为选取窗口的半径；为正则化参数，控制着求解过程中两项的相对贡献量；Sxl和Sym分别为图像沿x和y方向分别平移l和m个像素算子；为尺度加权系数，取值范围(0,1)。在式(1)中权值为l＋m，即在离中心像素点相同距离的像素的加权系数是相同的，这种处理在边缘和纹理区域是不合理的，会导致一定程度的边缘模糊。合理的处理方法是：沿纹理方向的像素的权值应大于垂直于纹理方向的像素。此外，在式(1)中为定值，这使得算法不能同时兼顾去除噪声和保持图像纹理。过小不能很好的抑制噪声，过大重建图像过于平滑，不能很好的保持图像的边缘和纹理信息。针对这一问题，蒋[9]和沈[10]等人分别提出了参数自适应重建算法，在蒋的方法中，利用图像局部协方差矩阵提取纹理特征，并用纹理信息控制权函数形状、带宽和正则化参数，使这些参数根据图像局部空间信息自适应地调整；在沈的方法中，基于灰度共生矩阵提取图像纹理信息，根据纹理信息确定值。虽然两种方法都取得了比BTV方法更好的重建结果。然而，他们在提高重建质量的同时，大大增加了重建的时间，这也限制了其方法的应用。本文提出一种快速提取图像纹理特征的方法，并据此构建加权系数和正则化参数，以达到又快又好的重建图像的目的。1纹理信息提取方法提取图像的纹理信息的方法有很多，例如基于灰度共生矩阵方法，灰度统计矩方法等。这里我们提出一种新的提取方法，根据像素邻域的灰度变化情况提取图像纹理信息和纹理取向。纹理信息提取的思路是：如果某窗口内相邻像素间的灰度值的差值很小，那么它处于平滑区域；而如果相邻的像素间的灰度值的差值较大，则它应处在边缘或纹理区域。具体的算法是：首先设定一个阈值，然后取3×3的窗口，以中间像素为中心，计算8邻域像素的灰度值Ii（i＝1,2,…,8）与中间像素的灰度值I0的差并取绝对值，即|Ii|＝|Ii－I0|（i＝1,2,…,8），将它们与阈值进行比较。若|Ii|＜，则对应像素赋值0，反之赋1，用bw表示8邻域的值（见图1），bwi＝0或1（i＝1,2,…,8）。最后，对8个值求和，令81iibw。反映了3×3邻域的图像纹理信息。对于均匀的区域，值较小；反之，值较大。纹理方向参数的计算方法是：设定4个纹理方向，分别为0°，45°，90和135°（如图1所示），对3×3邻域内四个方向上的bw值分别求和，1＝bw4＋bw5，2＝bw3＋bw6，3＝bw2＋bw7，4＝bw1＋bw8。这样，i(i＝1,2,3,4)取值与纹理取向有关，在纹理方向最小。2正则化参数和加权系数选择方法根据上一节计算出的纹理信息（用表征）和纹理方向参数（用表征）建立加权系数和正则化参数模型。确定两个参数的原则是：在边缘和纹理区域，的值较小，而在平滑区域，较大；垂直纹理（或者边缘）方向加权系数下降的速度要比沿着纹理（或者边缘）方向的要快。据此，我们建立正则化参数和加权系数模型。图1纹理方向示意图Fig.1Diagramoftexturedirection正则化参数由下式确定：abc(2)式中：a，b，c取值根据实验确定。邻域像素的加权系数由下式确定：ilmde(3)式中：d，e为常数，取值根据实验确定，和l、m的含义与式(1)中相同。由式(3)计算的权值，与中心像素距离l＋m点的权值与该方向的值有关，小的方向权值大。3实验结果与分析为了验证本文算法的性能，我们对仿真图像和实拍图像进行了实验。实验是在WindowsXP，Matlab7.9.0的平台上进行的，计算机配置是Intel(R)酷睿2E72002.53GHz，内存为1GB。实验一，将一幅分辨率为120×120的EIAcen图像，根据图像退化模型，依次经过偏移、光学模糊、降采样和加噪声，生成4幅分辨率为60×60的低分辨率图像，其中采用的模糊函数是3×3，方差为1的高斯函数。图像重建实验步骤为：首先我们用文献[11]的配准方法进行图像配准，然后采用经过双线性2倍插值的图像作为高分辨率图像的初始估计，最后采用最速下降法迭代求解（迭代步长为）。图2(a)为一帧低分辨率图像，图2(b)为文献[8]算法得到的图像，图2(c)为文献[9]算法重建得到的图像和图2(d)为本文算法重建出来的图像。在本文算法中，参数a，b，c，d，e通过实验确定为：a＝0.012，b＝0.0001，c＝1，d＝0.9，e＝0.05；＝2，p＝2，＝1。BTV算法中，＝0.6，＝0.005，p＝2，＝1。由图2可以清楚的看出，本文方法重建效果最好，很好的保留了图像的纹理信息。表1给出了重建时间。(a)原图(b)文献[8]方法090°45135°bw1bw2bw3bw4bw5bw6bw7bw8(c)文献[9]方法(d)本文方法图2重建结果对比图Fig.2Comparisonofreconstruction表1不同方法重建时间Table1Comparisonofreconstructiontime方法时间/s文献[8]方法0.5899文献[9]方法85.0462本文方法0.8760表2原图和重建图像平均梯度Table2Comparisonofaveragegradient图像原图文献[8]方法文献[9]本文方法平均梯度15.8117.8719.1619.41由表1给出的重建时间可以看出，本文方法重建时间虽比文献[8]方法略长，但是比文献[9]重建时间大幅度减少。为了进行重建质量客观的对比，我们还计算了这三幅图像的平均对比度，列于表2。从表2中数据可以看出本文方法的平均梯度值最大，也说明本文算法的优越性。实验二，选用一幅为分辨率90×90的Flower图像。分别经过与实验一相同的处理获得4幅45×45的低分辨率图像。然后，按实验一的步骤进行图像重建。图3为本文方法与文献[9]和BTV方法实验结果的对比。图3(a)为一帧低分辨率图像，图3(b)为采用文献[8]算法重建的图像，图3(c)为文献[9]算法重建的图像，图3(d)为本文方法重建的图像。其中文献[8]算法中，＝0.6，＝0.005，p＝2，＝1。本文算法中，a＝0.012，b＝0.0001，c＝1，d＝0.9，e＝0.05，＝2，p＝2，＝1。(a)原图(b)文献[8]方法(c)文献[9]方法(d)本文方法图3重建结果对比图Fig.3Comparisonofreconstruction表3不同方法的重建时间Table3Comparisonofreconstructiontime方法时间/s文献[8]方法0.4667文献[9]方法44.3852本文方法0.7355表4原图和重建图像平均梯度Table4Comparisonofaveragegradient图像原图文献[8]方法文献[9]本文方法平均梯度5.165.385.717.31由图3可以看出，本文方法比文献[8]算法和文献[9]算法更好地保留了图像的纹理细节。此外，表4的数据也显示，对于纹理密集的图像，本文方法重建出的图像的平均梯度明显高于其他方法。同时，从表3可以看出，本文算法运行时间远远小于文献[9]的方法。实验三，实拍红外视频重建。实验方法是：手持红外热像仪（以使不同帧间产生随机移动）拍摄一段视频，在视频重建时，每相邻4帧图像重建一帧（每4帧中的第一帧的双线性2倍插值作为重建帧的初始估计），依次滑动，完成视频的重建。我们对几段视频进行了重建，参数取值同上，图4给出部分结果。图4(a)、(c)是原始视频中的一帧，(b)、(d)分别是采用本文算法重建的对应图像视频中的一帧图像。(a)原视频帧(b)本文方法重建视频帧(c)原视频帧(d)本文方法重建视频帧图4实拍红外图像重建结果Fig.4ReconstructionofIRimage表5原视频和重建视频平均梯度Table5Comparisonofaveragegradient视频帧视频帧(a)视频帧(b)视频帧(c)视频帧(d)平均梯度4.075.614.105.37从图4(b)和(d)可以看出，重建图像的质量有了明显改善，重建的图像细节更清晰。从表5的数据也可以看出，重建图像的平均梯度明显提高。4结论本文提出了一种新的图像纹理信息提取方法，并建立了局部纹理信息与正则化参数和邻域像素权值的函数关系，实