搜索
引导滤波图像摘要：这篇论文中，我们提出一个新的明确的图像滤波器叫，引导滤波器。来自于一个局部线性模型，引导滤波器计算滤波结果通过考虑引导图像的内容，引导图像可以是输入图像自身或者是另外一个不同的图像。引导滤波器能够向双边滤波器[1]一样保持边缘平滑，但是它在边缘附近有更好的表现。引导滤波器也是更一般地超越平滑的概念：它可以转化引导图的结构为滤波输出，用于很多新的滤波应用图像去雾、及引导抠图。更多的，引导滤波器自然的有个快速并且不近似线性时间算法，与核的尺寸和像素亮度范围无关。现在，它是最快的边缘保持滤波器之一。实验显示引导滤波器在很多种计算机视觉及图形学的应用中有很好的作用及效率，包括边缘保持平滑，细节增强，HDR压缩，图像抠图，去雾，级联采样等等。1介绍大部分的计算机视觉以及计算机图形学图像滤波涉及到抑制或者提取图像的内容。简单的有核的线性平移不变滤波器（LTI），例如平均，高斯，拉普拉斯和Sobel滤波器[2]，都被广泛应用于图像恢复，模糊/锐化，边缘检测，特征提取等等。可选择的，LTI滤波器能明确地通过解决一个在高动态范围（HDR）压缩[3]的泊松方程来执行图像拼接[4]，图像抠图[5]，以及梯度域操作[6]。滤波核是通过一个齐次的拉普拉斯矩阵的转置明确地被定义。LTI滤波核是空间不变并且与图像内容独立的。但是通常有时候需要考虑引导图像的附加信息。各向异性扩散[7]的先驱工作用需要滤波的图像本身的梯度去指导扩散过程，避免平滑到边缘。平方和最小加权滤波器[8]利用输入需要滤波的图像（而不是像[7]的中间结果）去指导，并且选择一个二次函数，这个二次函数等价于一个非一般稳定状态的各向异性扩散。在其他的应用中，引导图像也能是另外的图像而不是本来的输入图像。例如，灰度图着色[9]色度通道不应该在亮度边缘溢出；在图像抠图[10],应该抓住一个复合图像的细薄结构；在图像去雾[11]景深层应该与原场景一致。在这些例子中我们将色度//景深层作为需要被滤波的图像，亮度/复合/场景看做相应的引导图。滤波过程[9]、[10]、[11]是通过优化引导图像的权重二次成本函数获得的。解决方法是解一个仅依赖引导的大的系数矩阵。这个非齐次的矩阵明确的是定义于一个平移变化的滤波核。同时，这些依赖于最优化的方法[8]、[9]、[10]、[11]常常牺牲精确度来达到快的计算速度。另外的一个利用引导图像的方法是明确的建立它的滤波核。双边滤波器，在[12]、[13]中分别提出，[1]以及也许是这种滤波器中最受欢迎之一的后来提出的[14]。它们在一个像素的输出是附近像素的加权平均，这个加权是依赖于同引导图亮度/颜色的相似度。这个引导图能够是滤波器自己本身[1]或者是另一幅图像[14]。双边滤波器能够平滑小的波动并且保持边缘。尽管这个滤波器在很多情况下都有效，它可能会有一些不希望的在边缘附近的梯度逆转伪影[15]，[16]，[8]（将在3.4部分讨论）。快速的执行双边滤波器也是一个挑战性的问题。近期的技术[17]、[18]、[19]、[20]、[21]依赖于量子化方法加速，但是牺牲了精确度。在这篇论文中，我们提出了一个新的明确的图像滤波叫做引导滤波。这个滤波器输出结果是引导图像的局部线性转换。在一方面，引导滤波器有一个号的边缘保持平滑效果像双边滤波器一样，但是它没有梯度逆转伪影的影响。在另一方面，引导滤波能够远远不只是平滑：在引导图的辅助下，它能让滤波输出更结构化并且不比输入平滑。我们论证了引导滤波在很多方面的应用中都有很好的结果，包括图像平滑/增强，HDR压缩，flash/非flash成像，抠图，去雾，和级联采样。更多的，引导滤波器自然地有一个O（N）（N个像素）时间复杂度算法在灰度图和高维图像中，与核的尺寸和亮度范围无关。特别的，我们的CPU执行达到40ms每兆像素在灰度滤波器：就我们所知，这是最快的边缘保持滤波器。本文的初步版本已经被ECCV10[22]出版。值得一提的是，从那时候开始起，引导滤波器见证了一些列新的应用。这个引导滤波器能有一个高质量的实时O（N）立体匹配算法[23]。一个相似的立体方法被独立地提出来[24]。引导滤波也被应用于光流估计[23]，交互式的图像分割[23]，显著性检测[25]，照明渲染[26]。我们相信引导滤波有很大的潜能在计算机视觉及图形学，贡献出他的简单，高效及高质量。我们提供一个公开的代码来促进未来的学习[27]。2相关工作我们回顾一下边缘保持滤波技术，我们对他们进行分类为显式及隐式平均权重滤波器和没有平均的一种。2.1显式的平均权重滤波器双边滤波器[1]也许是最简单并且最直观的一个显式平均权重滤波器。它计算滤波输出为每个像素邻近像素的平均值，由高斯权重空间及亮度距离。双边滤波器平滑图像并且保持边缘。他已经被广泛应用于减少噪声[28]，HDR压缩[15]，多尺度细节分解[29]，图像提取[30]，它推广成了级联滤波器[14]，权重是通过另一个引导图计算来的而不是输入的滤波图像。级联滤波器是很适合当需要滤波的图像不能提供可靠的边缘信息的时候，当它噪声非常多或者是一个中间结果的时候，例如Flash/非flash去噪[14]，图像采样[31]，图像去卷积[32]，立体匹配[33]。双边滤波器也有限制尽管他很普遍。他已经被提到[15]，[16]，[8]，双边滤波器可能会产生“梯度逆转”伪影。原因是当（通常是边缘附近）一个像素周围有很多相似的像素时，高斯平均权重不稳定。在这样的情况下，结果在边缘处会产生不希望的轮廓，通常被发现在细节增强和HDR压缩的情况中。双边滤波器的另外一个问题是效率问题。最有效的执行是O（Nr2）时间复杂度。核的半径是r。DurandandDorsey[15]提出一个线性分段函数模型并且能够给于FFT（快速傅里叶变换）滤波。Paris和Durand[17]计算双边滤波器作为一个3D滤波器在一个空间变化的领域，并且向下采样这个领域去加速如果奈奎斯特条件大致上如此。在这种空间盒子核的情况，Weiss[34]提出一个O（Nlogr）时间复杂度的方法基于分布直方图，并且Porikli[18]提出第一个O（N）的时间复杂度算法应用积分直方图。我们指出那些建立直方图本质上是执行2D的空间滤波器在空间变化领域用下面的1D变化滤波器。在这个观点下，[34]和[18]沿着范围域取样但是不重构它。Yang[19]提出另一种O（N）方法，在范围域内插入值以至于可以进行更激进的再次抽样。这上面的所有方法都是线性复杂W,r,t取样亮度值的数目（eg线性分段数目或者直方图条的数目）。他们需要粗采样去或者满意的数度，但是如果奈奎斯特条件被严重破坏，就会导致质量退化。空间变化域被推广到更高维的情况，颜色权重双边滤波器[35]。这个大的代价归因于高维能通过高斯线段树[20]，thePermutohedralLattices[21],ortheAdaptiveManifolds[36]降低。但是这些方法的表现不能同灰度双边滤波器竞争，因为它们花费了很多额外的时间准备数据结构。在双边滤波器的限制下，人们开始调查新的设计边缘保持滤波器。O（N）时间复杂度的边缘避免小波（EAW）[37]是用显式图像自适应的小波变换。但是核的小波是在图像平面的稀疏分布的。限制核的尺寸，这可能会限制它的应用。最近GastalandOliveira[38]提出了另一个O（N）滤波器，就是大家都知道的域转换滤波器。关键思想是反复地和分开地应用1D边缘保持滤波器。O（N）时间复杂度是通过积分图像或者递归滤波获得的。我们会在本论文中比较这些滤波器。2.2隐式的平均权重滤波器一系列优化二次成本函数并求解线性方程组的方法，等效于隐式滤波图像的逆矩阵。在图像分割[39]和色彩化[9]，这个矩阵的关系是高斯函数的颜色相近。在图像抠图，一个抠图拉普拉斯矩阵[10]是被设计来强制αmatte作为一个图像颜色的局部线性转换。这个矩阵也被用来去雾处理[11]。平方和最小权重滤波器[8]根据图像梯度调整矩阵的相关性产生无光晕边缘保持平滑结果。尽管这些基于最优化的方法常常产生高质量结果，解决线性方程组很耗时。直接解决像高斯消元法由于内存要求“填充”问题[40]、[41]而不实际。迭代解决例如Jacobi方法，SOR和共轭梯度法[40]都汇集太慢。尽管仔细设计预处理器[41]很大的减少了迭代次数，但是计算成本还是太高。多网格的方法[42]是被证明O(N)时间复杂度用作齐次的泊松方程，但是它的质量退化了当矩阵变得越来越不齐次的时候。以经验为主的，隐式的加权平口滤波器至少花上好些秒去处理一个只有一个像素的图像或者用预处理器[41]或者用网格的方法[8]。已经发现就是这些隐式的滤波器与显式的是密切相关的。在[43]，Elad展示双边滤波器是一个Jacobi迭代法在解决高斯相关矩阵的时候。[41]局部自适应预处理器和[37]的小波边缘避免是用类似的方法构建的。早在这篇论文中，我们展示一个引导滤波与抠图拉普拉斯矩阵密切相关[10]。2.3无平均滤波器边缘保持滤波能后同样通过无平均滤波器得到。中值滤波器[2]是一个很有名的边缘保持操作，和一个特别的例子局部直方图滤波器[44]。直方图滤波器有O（N）时间复杂度在某种程度是双边网格的一种。TV滤波器[45]优化一个正规化L1代价函数，并且相当于迭代中值滤波[46]。L1代价函数能被优化通过半二次分割[47]，在一个二次模型机软阈值法中选择。最近，Paris[48]提出操纵每个像素的拉普拉斯金字塔系数去保持边缘滤波。Xu[49]提出优化一个正规化L0代价函数帮助分段常量解决方法。这些无平均滤波器通常都很耗时。3引导滤波我们先定义一个普通的线性平移变换滤波器程序，与引导图像I，一个滤波输入图像p以及一个输出图像q相关。I和p是根据应用预先给定的，他们可以完全相同。在一个像素点i处的滤波结果是被表达成一个加权平均：()iijjjqWIp(1)i和j都是像素下标。滤波器核ijW是指导图像I的函数并且与p独立。这个滤波器是与p线性相关的。一个这样的滤波器的例子是级联滤波器[14]双边滤波核bfW是被下面的式子给定的：2222||||||||1()exp()exp()ijijbfijisrxxIIWIK（2）X是像素坐标，iK是一个归一化参数保证1bfjijW.参数s和r分别调整空间相似度和颜色亮度范围相似度的灵敏性。当p和I相等时，级联滤波器降解成初始的双边滤波器[1]。显式的加权平均滤波器优化一个二次函数并且解决一个下面形式的线性方程组：Aqp(3)q和p是列向量N-1，相应的iq和ip.A是一个N-N的只跟I相关的矩阵。（3）的解1qAp,与（1）有相同的形式，1()ijijWA。3.1定义现在我们定义引导滤波器，关键的假设是这个引导滤波器在引导图像I和滤波输出q之间是一个局部线性模型。我们假设q是I中心在像素k的窗口k的线性转换：,ikikkqaIbi(4)(,)kkab是假定同k相同的线性系数。用一个半径为r的方形窗口。这个局部线性模型确定只要I有一个边缘那么q就有一个边缘，因为qaI这个模型被证明在图像超分辨率[50]，图像抠图[10]，和去雾[11]中是有效的。为了决定线性系数(,)kkab,我们需要约束输入的滤波图像p。我们定义输出q为输入p减去一些不希望的内容n例如噪声/纹理：iiiqpn.(5)我们寻求一个解决办法能够最小化q和p之间的差异，同时保持线性模型（4）。特别的，我们最小化下面的窗口k的代价函数：22(,)(()kkkkikjkiEabaIbpa(6)这里，是一个惩罚大的ka的正则化参数。我们将在3.2部分研究它的直观意义。方程式（6）是线性回归模型[51]，[52]并且它通过以下给定的解决：21||kiikkikkIppa(7)kkkkbpa(8)这里，k和2k是引导图像I的窗口k平均值跟方差，||是k中像素