运动模糊图像复原技术及其应用分析

运动模糊图像复原技术及其应用赵丹培宇航学院图像处理中心D座407E-mail:[e-mail]2010年5月2/93目录7.1图像复原技术概述7.2运动模糊图像复原的基本原理7.3典型的运动模糊图像复原方法7.4几种恢复方法的性能比较7.5图像复原质量评价7.6运动图像复原方法的应用3/93什么是图像复原技术？图像复原技术也常被称为图像恢复技术，是当今图像处理研究领域的重要分支。图像复原技术能够去除或减轻在获取数字图像过程中发生的图像质量下降（退化）问题，从而使图像尽可能地接近于真实场景。什么是图像退化？景物形成过程中可能出现畸变、模糊、失真或混入噪声，使所成图像降质，称为图像“退化”。7.1图像复原技术概述4/93引起图像退化的原因：造成图像退化的原因有很多，典型原因表现为：•成像系统的象差、畸变、带宽有限等造成的图像失真；•由于成像器件拍摄姿态和扫描非线性引起的图像几何失真；•运动模糊，成像传感器与被拍摄景物之间存在相对运动，引起所成图像的运动模糊；•灰度失真，光学系统或成像传感器本身特性不均匀，造成同样亮度景物成像灰度不同；•辐射失真，由于场景能量传输通道中的介质特性如大气湍流效应，大气成分变化引起图像失真；•图像在成像、数字化、采集和处理过程中引入的噪声。5/93图像复原与图像增强的关系：图像复原与图像增强存在密切的联系，它们都是为了改善图像的视觉效果，得到某种意义上的改进图像，也就是希望改进输入图像的视觉质量，便于后续处理。图像增强技术：更偏向主观判断，即要突出所关心的信息，满足人的视觉系统，具有好的视觉结果。图像复原技术：根据图像畸变或退化的原因，进行模型化处理，将质量退化的图像重建或恢复到原始图像，即恢复退化图像的本来面目，忠实于原图像。因此必须根据一定的图像退化模型来进行图像复原。6/93图像复原方法的分类：图像复原大致可以分为两种方法：一种方法适用于缺乏图像先验知识的情况，此时可对退化过程建立模型进行描述，进而寻找一种去除或消弱其影响的过程，是一种估计方法；另一种方法是针对原始图像有足够的先验知识的情况，对原始图像建立一个数学模型并根据它对退化图像进行拟合，能够获得更好的复原效果。两种方法各有优缺点，第一种方法不需要先验知识，但其缺点是速度较慢，效果也不如第二种好；而第二种方法只要有正确的模型，就可在相对较短的时间内得到较好的效果，其缺点是建立准确的模型通常是十分困难的。7/93从方法和应用角度的分类：•频域图像恢复方法：逆滤波、维纳滤波等；•线性代数恢复方法：线性代数滤波方法、空间域滤波方法等；•非线性代数恢复方法：投影法、最大熵法、正约束方法、贝叶斯方法、蒙特卡罗方法等；•频谱外推法：哈里斯外推法、长球波函数外推法；•反卷积恢复方法：盲复原方法典型应用：•大气湍流退化图像复原；•离焦衍射图像复原；•高速运动模糊图像的复原；………8/93频域法逆滤波法维纳滤波法约束最小平方滤波法小波变换法线性代数复原法无约束复原法有约束复原法伪逆滤波法奇异值矩阵分解SVD法非线性代数复原法凸集投影法最大熵复原法贝叶斯复原法遗传进化法频谱外推法哈里斯外推法长球波函数外推法能量连续降减法神经网络法9/93消除运动模糊的几种补偿方法运动模糊的实质是由于相机与景物之间相对运动而造成曝光瞬间感光介质相对被照物影像相对运动，也就是说存在着像移。如果能减小或者消除这种像移就可以抑制运动模糊的产生。目前常用的消除像移的方法有以下几种：机械式像移补偿法光学式像移补偿法电子式像移补偿法集成像移补偿法图像式像移补偿法10/93机械式补偿法：利用机械结构及其组件在曝光时移动光感应介质，使剩余像移量尽可能小，从而达到抑制运动模糊的目的。该补偿法适用于飞行器横滚、俯仰和相机扫描引起的运动模糊，主要用在胶片式垂直照相相机上，实现时是用拉动型量片机构移动胶片并精确控制卷片机构以保证必要的补偿精度。美国的KA-112A航空侦察相机用移动胶片法消除扫描和横滚造成的像移。优点：感光面上各点的补偿速度一样且没有附加光学系统。缺点：它对结构的运行及制作精度要求高、需大功率传动装置，限制了它在航空相机特别是广角镜头相机上的应用；感光材料逐渐在由胶片往CCD转变，其相应的像移补偿方法也在发生改变。11/93光学式像移补偿法光学式像移补偿法的原理是按照与相机焦面上像移速度一致的原则旋转或移动光路元件以改变光线方向达到抑制运动模糊的目的。目前常用旋转物镜前方的回转反射镜补偿前向像移。优点：光学式像移补偿法的反射镜体积小、重量轻且易控制，除补偿前向像移外还能补偿俯仰和偏航引起的像移，主要用在长焦距全景式相机上。KA-112A相机和美国芝加哥航空工业公司八十年代初研制的KS-146航空侦察相机都用了该补偿法，它目前用得较多。12/93电子式像移补偿法电子式像移补偿方法主要是针对CCD相机，利用一系列CCD电荷转移驱动技术来控制CCD曝光以同步像移速度的补偿法。目前国内外采用的电子式像移补偿法有针对TDICCD（TimeDelayandIntegrateChargeCoupledDevice）的真角度像移补偿法和对面阵CCD的阶梯式像移补偿法。它已应用到美国的CA-260、CA-270、CA-290等电光分幅式航空侦察相机上，带有这种阶梯式像移补偿技术的面阵CCD器件目前属于军事禁售品。13/93集成像移补偿法集成像移补偿法是最新的像移补偿技术，它是将像移补偿同芯片集成为一体，目前加拿大Dalsa公司为美国海军实验室做成了5kByte×5kByte带像移补偿功能的芯片，帧频为2.5HZ，为超高分辨率CCD探测器。14/93图像式像移补偿法图像式像移补偿又称软件补偿法。模糊图像是由清晰图像与点扩散函数PSF卷积而得。根据这个原理，由退化图像进行图像复原（ImageRestoration，IR）来完成像移补偿。图像式像移补偿法是对已有数字图像的后期处理，是一种被动式的补偿方法且必须用在CCD相机上，通常是对事后图像进行复原和分析。优点：图像式像移补偿的成本低、软件算法相对比较成熟、应用灵活等特点现已经引起广泛关注，随着DSP等快速高效器件的推广使用，这种方法将很快用于准实时的像移补偿。15/93模糊图像复原后的清晰图像举例：图像式补偿方法的应用举例16/93图像复原的本质是根据图像退化原因，建立相应的数学模型，从被污染或畸变的图像信号中提取所需的信息，沿着使图像降质的逆过程恢复图像本来面貌。广义上讲，图像复原是一个求逆过程，逆问题经常存在非唯一解，甚至无解。实际的复原过程是设计一个滤波器，使其能从降质图像计算得到真实图像的估值，使其根据预先规定的误差准则，最大程度地接近真实图像。引出：如何建立图像的退化模型？(,)gxy(,)fxyˆ(,)fxy小结17/937.2运动模糊图像复原的基本原理运动模糊的基本原理运动模糊图像的退化模型运动模糊图像的点扩散函数匀速直线运动模糊点扩散函数的参数确定运动模糊点扩散函数的离散化18/93在用摄像机获取景物图像时，如果在相机曝光期间景物和摄像机之间存在相对运动，例如用照相机拍摄快速运动的物体，或者从行驶中的汽车上拍摄外面静止不动的景物时，拍得的照片都可能存在模糊的现象，这种由于相对运动造成图像模糊现象就是运动模糊。下图为实验室实际拍摄的含有噪声干扰的运动模糊图像。7.2.1运动模糊的基本原理由于高速运动产生的运动模糊图像19/93以拍摄快速运动的汽车为例来分析运动模糊图像的形成过程。运动模糊图像成像原理20/93解决运动模糊的方法一般有两种:•一是减少曝光时间。但相机的曝光时间并不可能无限制地减小，随着曝光时间减小，图像信噪比减小，图像的质量也较低，所以这种方法用途极其有限;•二是建立运动图像的复原模型，通过数学模型来解决图像的复原问题。这种方法具有普遍性，因而也是研究解决运动模糊的主要手段。21/93举例：以航空侦察相机为例讲述运动模糊的基本原理当飞机以速度V在空中飞行时，如图所示，地面景物A点相对飞机向后移动到A’。通过光学系统成像于a’点，在CCD靶面上像移速度为：V：飞机飞行速度；H：飞行高度；：光学系统最大焦距。在CCD摄像机每场积分时间内像移量为：ｔ为CCD摄像机的场积分时间vaa'A'A像移模型'max'fHVV'maxf)('mmtVl22/93小结：像移量的存在导致图像模糊，为得到清晰图像，必须要对像移进行控制。在实际工程中，CCD的积分时间不能无限的缩小，而且高帧频CCD的价格很贵。积分时间缩短后，为了保证图像质量，所需的地面照度就越大，这就限制了相机的工作条件，在许多情况下是不能接受的。目前解决运动模糊的主要手段是通过了解图像的退化过程，建立运动图像的复原模型，通过数学模型来解决图像的复原问题。23/93在实际降质过程中，降质的另一个复杂因素是随机噪声，考虑有噪声的图象恢复，必须知道噪声统计特性以及噪声和图像信号的相关情况，这是非常复杂的。实际中假设是白噪声---频谱密度为常数，且与图像不相关，(一般只要噪声带宽比图像带宽大得多时，此假设成立)，由此得出图像退化模型。可以将图像退化过程描述成一个退化系统，这里原图像是通过一个系统并与加性噪声相加退化成图像的，其过程如下图所示：7.2.2运动模糊图像的退化模型(,)fxy(,)nxy(,)gxyH模糊图像的一般退化模型：24/93Hf(x,y)g(x,y)n(x,y)yxnddyxhfyxg,,,),(图像降质过程模型图像的降质公式：25/93以后讨论中对降质模型H作以下假设：H是线性的H是空间（或移位）不变的对任一个和任一个常数都有：就是说图像上任一点的运算结果只取决于该点的输入值，而与坐标位置无关。yxHfkyxHfkyxfkyxfkH,,,,22112211,fxy、(-,-)(-,-)Hfxygxy26/93如果考虑噪声的影响，运动模糊图像的退化模型可以描述为一个退化函数和一个加性噪声项，设一幅输入图像，则产生的退化图像可以用下式表示：因此，图像复原是在已知，，等一些先验知识的条件下，求得的过程。由于空间域的卷积等同于频率域的乘积，所以上式的频率域描述为：(,)(,)(,)(,)GuvHuvFuvNuv(,)(,)(,)(,)gxyhxyfxynxy(,)nxy(,)fxy(,)gxy(,)gxy(,)nxy(,)hxy(,)fxy27/93讨论恢复问题：若略去噪音N，得：反变换,可求F→f若H有零点，G也有零点出现，0/0的不定值，这样模型不保证所有逆过程都有解？通常，在离频率平面原点较远的地方数值较小或为零，因此，必须限制图像复原在原点周围的有限区域进行，即将退化图像的傅里叶谱限制在没有出现零点而且数值又不是太小的有限范围内。由于引起退化的因素众多，而且性质不同，而目前又没有统一的恢复方法，许多人根据不同的物理模型，采用不同的退化模型、处理技巧和估计准则，从而导出了多种恢复方法。有效方法：针对特定条件，用特定模型处理。HGF(,)Huv(,)Huv28/93图像复原可以看成是一个预测估计的过程，由已给出的退化图像估计出系统参数，从而近似地恢复出，为一种统计性质的信息。这样图像退化过程的数学表达式就可以写为：通常，在不考虑加性噪声的情况下，上式可以作如下简化：将理解成一种运算，而模糊恢复的过程就是由恢复出的过程，也就是寻求逆变换使得(,)gxy(,)fxy(,)nxy(,)[(,)](,)gxyHfxynxy(,)[(,)]gxyHfxyH(,)gxy(,)fxy1H1(,)[(,)]fxyHgxyH29/93我们用卷积的方法模拟出运动模糊的退化过程，可以描述为：称为模糊算子或点扩散函数，“*”表示卷积，表示原始(清晰)图像，表示观察到的退化图像。图像复原的过程：),(*),(),(yxhyxfyxg),(yxh),(yxf),(yxgˆ(,)(,)gxyfxy30/93在所有运动模糊中，由匀速