图像修复

图像修复ImageInpaintingjyzw_zw2010-10-25Bertalmio2000年首次提出“图像修补（imageinpainting）”利用损坏图像已知信息，按照一定规则对损坏区域进行填补，其目的是使修复够图像接近或达到原图像的视觉效果。缺少足够信息保证唯一正确的修复结果，因此是一个病态问题，解的合理性取决于人类视觉系统的接受程度。旧照片修复OldPhotoRestoration几种图像修复实例字幕去除TextRemoval目标物去除ObjectRemoval视觉认知规律结构性结构型轮廓在感知中的作用最为明显，断断续续的线条出现，大脑将其连接成一个整体。相似性对于未知区域的信息，大脑根据相似性原理，使用其邻域的信息进行推断，把类似的物体组合在一起。结构优先结构在视觉感知中作用更重要，结构修复优先保持整体图像一致性，否则先进行纹理填充会出现细节相似但整体产生偏差的情况纹理一致纹理并不被大脑所重视，如果不仔细观察，则被看成是相似物体，而不会主动分辨其中细节，因此，修复纹理时只要不出现不同于当前纹理的新信息，大脑就不容易察觉。图像修复经典方法图像修复方法变分PDE模型基于纹理修复偏微分方程方法变分方法纹理合成方法特征匹配基于结构修复基于学习修复一.基于结构的修复方法模拟微观修复机制BSCB模型Bertalmio（2000）依据手工修复的经验，将边缘信息沿着等照度线方向扩散到待修复区域内。修复结果存在问题算法时间复杂度太高，执行速度非常慢对大的缺陷区域的修复，效果不好稳定性不好，有时会导致修复图像视觉效果不好容易受到噪声干扰，影响等照度线方向的判断模拟宏观修复机制1.整体变分（TV）模型Chan&Shen（2001）“最佳猜测”原理与贝叶斯框架理论图像修复问题是一个贝叶斯问题u：原始图像u0：破损图像P(u0|u)：似然项（数据模型），依赖观测数据P(u)：先验项（图像模型），反映主观自然性评价TV模型D：待修补区域E：待修补区域的外邻域I：原始图像I0：破损图像第一项是为了使待修复区域及其边界尽可能的平滑第二项是保持修复结果与原图的一致性由变分原理，最小化上式等价于求解对应的Euler-Lagrange方程00EIdivIII20min()2EDEJIIdxdyIIdxdy实质为各向异性扩散方程物理意义：如果当前点与邻点的梯度较小，即差别较小时，具有较高的扩散系数，会与邻点相平滑；如果差别较大，那么扩散系数较低，则基本保持当前点的值。IdivgIItg各向异性函数1gIIIdivItI当有g1IIdivIIt当有各向同性扩散（图像平滑）缺点：不满足“连接性准则”，扩散强度仅依赖于等照度线的对比度或强度，不依赖于等照度线的几何信息。基于曲率驱动扩散（Curvature-DrivenDiffusion,CDD）方法加入等照度线几何信息——曲率加入曲率信息，大曲率处扩散强度大，小曲率处扩散逐渐消失fkIIdivIkdivtII曲率基于结构修复算法缺点本质上是一种信息扩散的过程，修复区域较大时，使由外边界向区域中心的信息扩散过程变得极慢，运算量剧增。扩散过程使得修复区域过于平滑，若修复区域存在丰富纹理，就会使修复区域变得模糊。分析过于局部，仅利用修复区域邻域的信息，缺少整体指导。二.基于纹理修复与基于结构修复方法不同1.充分利用视觉认知规律的相似性原则，追求整体一致性。2.基于结构修复是通过信息扩散实现修复，是基于点的分析；基于纹理修复利用图像块之间的相似性，是基于块的分析。3.基于纹理修复是在全图搜索以寻找最匹配的块，利用信息更充分。基本思想：由为缺损区域中采样合适的图像块，复制或合成到缺损区域中，同时保证纹理结构的连续性和相似性。修复过程：搜索、匹配、合成修复优先级问题修复块优先级决定因素：1.数据项：在图像边缘数据项值较大，优先修复边缘。2.置信度：反映待修复块信息完整程度。置信度越高，块内信息缺失越少，修复可靠度越高，应优先修复。修复结果算法缺点：寻找匹配块时，大多采用全局搜索方法，增大了修复时间。缺少对图像结构分析，造成局部相似整体却不和谐的结果。由于采用块匹配粘贴的缘故，在处理结构信息时，可能无法自然的拼接，产生块效应。改进：研究规则纹理的方向特性，找到图像中纹理的大致走向，沿该走向寻找匹配块，可减少搜索空间。对图像进行结构-纹理分解，分别对结构纹理进行修复。对块拼接的边界进行处理，实现无缝拼接，达到自然过渡的效果。三.基于学习的修复方法非学习方法：通过设定一些前提条件如平滑性假设、局部相似性假设，然后以此为基础进行修复缺点：仅适用原图少量信息，对图像中所呈现出的模式缺乏一个整体认识。基于学习的修复方法在原图的有效区域或其他图像数据库中，通过学习发掘出图像的统计信息或先验概率，并通过某些优化算法如置信度传播（BP）、梯度下降法等来获得修复结果。Levin（2003）从图像统计的角度，提出学习型图像修复方法。统计学习的信息为每点的梯度幅度以及相邻点梯度的夹角：参照Markov随机场中概率函数的定义方式，将修复图像的概率函数定义为：为简化求解，定义：通过置信度扩散（BP）方法求解，得到具有最大概率函数的图像值，即为修复结果。修复结果修复结果与训练的图像密切相关，充分反映了所学习的模式特征。存在问题最优概率函数的求解复杂度较高，学习的信息较为简单，只有梯度幅度以及相邻点梯度的夹角，只能描述一些较为简单的结构（如结构拐角处的修复）。总结与展望视觉认知规律的利用不充分。结构性原则、相似性原则、结构优先原则和纹理一致原则往往只是部分得到利用，因此存在相应的局限性。基于偏微分方程的修复方法着眼点较为局部，缺乏整体把握，应对图像轮廓趋势进行学习分析，然后进行连接从而确定整个图像的大致趋势，因此基于学习的修复方法值得进一步研究。一个重要的应用：面向修复的图像压缩如何提取图像特征及辅助信息，如何编码和重构这些信息等问题值得研究视频修复自动寻找破损区域