数字图像处理第五章图像复原与重建

第五章图像复原与重建主要内容背景知识图像退化/复原过程的模型代数恢复(选)频域恢复(选)几何校正背景知识产生原因光学系统中的衍射传感器非线性畸变光学系统的像差摄影胶片的非线性大气流的扰动效应图像运动造成的模糊几何畸变背景知识几何畸变背景知识运动模糊背景知识图像复原是试图利用退化过程的先验知识去除已退化的图像的退化因素，尽可能恢复图像本来面目的技术。思路：即找出退化的原因,分析引起退化的环境因素,建立相应的数学模型,并沿着使图像降质的逆过程恢复图像。过程:找退化原因→建立退化模型→反向推演→恢复图像。背景知识与图像增强技术比较：同：改善图像质量异：图像增强技术不考虑图像退化原因，通过基本探索性各种技术过程增强图像，一般要借助人的视觉系统的特性，以取得看起来好的视觉结果；图像复原则认为图像是在某种情况下退化或恶化，需要根据相应的退化模型和知识重建，恢复原始的图像。通常会涉及到设立一个最佳的准则,它将会产生期望的最佳估计。退化图像处理：先复原再增强粗放型严谨型主要内容背景知识图像退化/复原过程的模型代数恢复频域恢复几何校正图像退化/复原过程的模型2()()juxFufxedx退化函数H复原滤波退化复原图像复原的关键在于建立图像退化模型,反映图像退化原因通常将成像系统作为线性位移不变系统，点扩散函数用h（x，y）表示，获取退化图像为g（x，y），建立系统退化模型如下：yxnyxhyxfyxg,),(*),(,无噪声退化模型有噪声退化模型),(*),(,yxhyxfyxg离散图像退化模型对图像和点扩散函数均匀采样，得到离散的退化模型：向量矩阵形式为yxnymxhnmfyxgeeeMmNne,),(),(,1010nHfg其中，H为MN×MN的矩阵。主要内容背景知识图像退化/复原过程的模型代数恢复频域恢复几何校正图像复原过程图像复原过程相当于设计一个滤波器，使其能从退化图像中复原出真实图像的估值，这种估值根据预定的最佳准则，具有最优的性质。代数恢复法讨论均方误差最小意义下，图像的最佳估计无约束复原准则函数退化模型的噪声项为使噪声范数尽可能小，即使最小定义准则函数为关于f的估计最小的问题求极值可得频率域则表现为两者乘积。频率域去卷积公式ngHf2ˆˆ()||||JfgHf(,)ˆ(,)(,)GuvFuvHuv22ˆ||||||||ngHf1111ˆ(')'''fHHHgHHHgHg约束最小二乘复原当H为奇异的，会导致无约束复原问题的病态性，因此需要在恢复过程中施加某种约束，即约束复原。约束最小二乘复原问题是使形式为的函数，在约束条件时最小准则函数求极小值得λ为常数系数（拉格朗日系数），γ为1/λ指定不同Q，得到不同复原图像222ˆˆˆ()||||||||||||JfQfgHfn1ˆ('')'fHHQQHgˆ2Qf22ˆ||||=gHfn约束最小二乘复原能量约束Q=II表示单位矩阵解得最佳复原解为物理意义为在约束条件下复原图像能量最小2ˆ||||f1ˆ(')'fHHIHg平滑约束Q描述图像平滑程度，对应一个二阶平滑算子，如拉普拉斯算子，则约束条件为应用各点二阶导数的平方和最小，其值越小f越平滑。最佳复原解为约束最小二乘复原1ˆ('')'fHHCCHg010141010QC2ˆCf约束最小二乘复原均方误差最小约束（维纳滤波）将f和n视为随机变量，令Rf，Rn分别为信号和噪声的协方差矩阵。使最小，解得最佳复原为1/21/2fnQRRˆQf-11fnˆ(')'fHHRRHg主要内容背景知识图像退化/复原过程的模型代数恢复频域恢复几何校正逆滤波对于线性位移不变系统，进行傅里叶变换后表现为频率域图像无噪声理想情况下(,)(,)(,)(,)GuvFuvHuvNuv(,)(,)(,)(,)(,)/(,)GuvFuvHuvFuvGuvHuv则1/H(u，v)称为逆滤波器逆滤波做傅里叶反变换得复原图像ˆ(,):Fuv原始图像的傅立叶变换估计(,)+(,)ˆ(,)(,)GuvNuvFuvHuv(,)(,)(,)NuvFuvHuv12()ˆ(,)(,)(,)(,)juxvyfxyfxyNuvHuvedudv退化图像中噪声问题：在H(u,v)为零或很小，N(u,v)/H(u,v)会变得很大，会对逆滤波恢复的图像产生很大的影响，使估计图像与原图像差别很大逆滤波解决途径人为设置H-1(u,v)，使其H(u,v)避免出现0及数值较小的值uH(u,v)uHI(u,v)uH-1(u,v)（a）图像退化响应（b）逆滤波器响应（c）改进的逆滤波器响应逆滤波限制滤波的频率信息使其接近原点,使其具有低通滤波性质0022010u+v-1H(uv)DDH(uv)DDDD，，为截止频率，逆滤波对左图进行逆滤波(a)用全滤波的结果(b)D0为40时截止H的结果(c)D0为80时的结果(d)D0为85时的结果225/6[(/2)(/2)]:(,)kuMvNHuve退化函数去除匀速直线运动造成的模糊获取图像过程中，由于景物和摄像机之间的相对运动造成的图像模糊去除匀速直线运动造成的模糊去除匀速直线运动造成的模糊退化模型估计：设f(x,y)进行平面运动，x0(t)和y0(t)分别是在x和y方向上随时间变化的运动参数,g(x,y)为模糊图像，t为运动时间，T为快门打开到关闭的总曝光时间，模糊图像表示为00(,)[(),()]Togxyfxxtyytdt去除匀速直线运动造成的模糊其傅里叶变换为00002()0002()0002(()())02(()())0(,)[(),()][(),()](,)(,)(,)(,)TjuxvyTjuxvyTjuxtvytTjuxtvytGuvfxxtyytdtedxdyfxxtyytedxdydtFuvedtFuvHuvHuvedt退化函数＝去除匀速直线运动造成的模糊00002()2/000()/,()0(,)(/),(,)sin()ˆ(,)'[(),]'[(),]0,aTTTjuxtjuatTjuamkk-1k=0xtatTytgxyfxatTydtTHuvedtedtuaeuafxyAmgxmaygxkayxyLT,A=f(x+ka)/k水平方向匀速运动若＝＝为位移量，为总运动时间,mx/aL=kax是的整数部分，是的取值范围垂直方向匀速运动的图像复原方法类似维纳滤波维纳滤波是从退化函数和噪声统计特征入手，假设图像信号近似看成平稳随机过程的前提下，按照恢复图像与原图像的均方差最小原则来恢复图像.即恢复问题归结与找到合适的点扩散函数，其其与图像卷积后能满足上式,再计算图像估计2ˆ{([(,)(,)]}=minEfxyfxy*2(,)ˆ(,)(,)|(,)|(,)/(,)fHuvFuvGuvHuvPuvPuv*22(,)(,)(,)(,)|(,)|(,)|(,)|fHuvHuvHuvPuvNuvPuvFuv退化函数,的复共轭噪声的功率谱,未退化图像的功率谱Pn0,逆滤波维纳滤波逆滤波和维纳滤波的比较(a)全滤波的逆滤波结果(b)半径受限的逆滤波结果(c)维纳滤波的结果(交互选择K)维纳滤波的结果非常接近原始图像,比逆滤波要好主要内容背景知识图像退化/复原过程的模型代数恢复频域恢复几何校正几何失真图像在获取和显示过程中，由于成像系统本身的非线性、图像获取视角的变化及拍摄对象表面弯曲等原因，产生图像几何形状的失真。几何失真常见几何失真原图像透视失真枕形失真桶形失真几何校正几何校正：将存在几何失真的图像校正成无几何失真的图像在对图像定量分析前，进行此处理，以免影响分析精度几何校正几何校正基本方法是先建立数学模型，再利用已知条件确定模型参数，最后根据模型对图像进行校正通常由两个基本操作组成:空间坐标变换修改像素空间坐标，对图像平面上像素坐标位置进行校正或重新安排，以恢复其原有的空间关系灰度内插对空间变换后图像中像素赋予相应灰度值，以恢复原空间位置上的灰度值空间坐标变换（数学模型）12,(,),,(',').:'(,)'(,)fxygxyxhxyyhxy假设一幅图像像素点坐标为经过几何变换失真产生一幅图像像素点坐标为该变换可表示为12(,)(,),(',')(,)..hxyhxygxyfxy如果和在解析分析中已知理论上可以用相反的变换从失真图像复原未知变换函数情况下常用的方法是用连接点表达像素的空间重定位空间坐标变换方法一已知h1(x，y)和h2(x，y)条件下的校正直接法，由退化图像的像素坐标(x’,y’)计算出原图像对应像素的校正坐标值(x,y)，保持其灰度值不变。校正后图像像素分布不规则，出现挤压、疏密不均现象，还需进行灰度内插生成栅格图像间接法，由假设的校正图像整数坐标(x,y)计算对应退化图像的非整数坐标(x’,y’)，由其周围像素灰度内插得到其灰度值。常用方法，较容易实现常见图像几何变换平移xy''xxtxyyty常见图像几何变换旋转'cossin'sincosxxyyxy常见几何变换缩放xy''xcxydy常见图像几何变换水平镜像：垂直镜像：''xxyy''xxyy空间坐标变换方法二未知h1(x，y)和h2(x，y)条件下的校正用基准图像和几何畸变图像上的连接点来确定坐标变换函数h1(x，y)和h2(x，y)连接点是像素的子集,它们在输入(失真的)和输出(校正的)图像中的位置是精确已知的.基准图像f几何畸变图像g空间坐标变换（数学模型）根据两图像中的连接点，建立函数关系，进行坐标变换，通常函数关系用二元多项式近似0000''nniijijijnniijijijijijxaxyybxynab为多项式次数，和为系数空间坐标变换连接点总共有6个连接点,可解出6个系数,得到几何失真模型.通常需要足够多的连接点以产生覆盖整个图像的四边形集.一元多项式的线性变换001001001001''nxaaxayybbxby=1时空间坐标变换二元多项式的线性变换像素灰度内插''.(',')xygxy无论用直接法还是间接法进行空间坐标变换，都可能产生非整数的和坐标，这样会得到空的灰度值.所以有必要基于整数坐标的灰度值去推断那些位置的灰度值.常用方法：最近邻元法双线性内插法三次内插法像素灰度内插最近邻元法：选择距离最近的邻像素灰度（x’，y’）像素值用最近邻（x，y）灰度插补像素灰度内插最近邻元法优点：简单快速灰度保真度好缺点：误差大灰度不连续性造成视觉特性差锯齿现象像素灰度内插双线性内插法:用4个最近邻点做两个方向内插︷β(1)(1,)(1,1)fxyfxy(',')(1)(1)(,)(1)(,1)fxyfxyfxy（x+1，y）（x，y＋１）像素灰度内插(a)显示具有25个连接点的图像(b)几何失真后的连接点(c)用最近邻点内插失真的图像(d)复原结果(e)使用双线性内插的失真图像(f)复原图像利用最近邻点内插法,几何校正的效果可以接受的.但在灰度级赋值上有明显错误,特别时沿着灰和黑色区域的边界处.双线性内插法对此有明显改善.abcdef像素灰度内插双线性内插法特点：计算邻近各点的灰度特征，灰度过渡平滑，效果较好，但计算量大具有低通滤波性质，图像轮廓产生模糊像素灰度内插三次内插法三次多项式近似表示最佳插值函数sinx/x像