图像精细分割读书报告

1数字图像精细分割读书报告Literature-ReportonDigitalMatting摘要：数字图像精细分割是图像编辑和视觉特效制作的一种重要的基础性操作。本文综述了国内外图像精细分割领域的研究现状，并给出了今后的研究方向。关键字：数字图像精细分割，贝叶斯框架，泊松方程Abstract：Digitalmattingisafundamentaloperationinimageeditingandvisualeffect.Inthispaper,ansurveyondigitalmattingisgivenandthefutureworksinthisfieldarelisted.Keywords：Digitalmatting,Bayesianframework,Poissonequation一、引言1.1图像精细分割概述视觉是人类五感中最高级的感官，因此，毫无疑问图像在人类感知中扮演着最重要的角色。已有研究表明，人类从外界获取的各种信息约有80%是从图像中得到的。然而，人类的视觉仅限于电磁波谱的可见光频段，数字成像机器则可以处理那些由不可见光源产生的图像。因此，数字图像技术被广泛运用于各种应用领域。数字图像研究领域被笼统的分为三个层次，即图像处理、图像分析和计算机视觉。然而，从图像处理到计算机视觉这个连续的统一体内并没有明确的界线。通常它们的关系如图1所示。图像处理涉及一些比较底层的操作，例如：图像噪声过滤，图像锐化；它的输入和输出都是图像。图像分析则包括一些中级的处理，例如：图像边缘提取；它的输入为图像，但输出是从这些图像中提取的特征。作为高级处理的计算机视觉涉及从总体上理解在图像分析中被识别的物体，以及执行与视觉相关的识别函数等。在对图像的研究和应用中，人们通常只是对图像中的某些部分感兴趣。这些计算机视觉图像分析图像处理符号目标象素操作对象图1.数字图像研究领域层次结构Fig.1thestructureofdigitalimageprocessingresearchfield2部分通常被称作对象或目标，他们一般对应图像中特定的、具有独特性质的区域。为了识别和分析目标，首先就需要把它们分离提取出来，进而才可能在此基础上对目标进行处理。图像分割[1]（ImageSegmentation）就是把图像分成各具特性的区域并提出感兴趣目标的技术和过程。这里特性可以是象素的灰度、颜色、纹理等，预先定义的目标可以对应单个区域，也可以对应多个区域。因此，图像分割是由图像处理进入图像分析的关键步骤，在图像的研究和应用中占有重要位置。一方面，它是目标表达的基础，对特征测量有重要影响；另一方面，因为图像分割及其基于分割的目标表达、特征提取和参数测量等将原始图像转化为更为抽象更紧凑的形式，使得更高层的图像分析和理解成为可能。图像分割将图像划分若干互不交迭的区域，即把图像中的像素划分为互不相交的若干集合。然而一幅图像中的自然景物如细树枝和毛发通常比一个像素还要细小，如图2所示。这使得图像中在前、背景交界处的大量像素点包含了前、背景中多个物体的色彩。另外，一些半透明物体的图像如云彩，烟雾、玻璃杯，即使是在前景物体内部，像素点也包含了多个物体的色彩。对于这些景物的提取，图像分割显得力不从心。基于透明度（也称作值）的图像精细分割（ImageMatting）却可以处理此类问题，它能对单个像素点包含的色彩进行前景色与背景色的分离。a.hairb.glassc.smoke图2精细分割应用领域Fig.2.ResearchfieldofDigitalMatting图像精细分割技术已被广泛应用于电影特效制作以及照片特效制作中。利用图像精细分割和图像合成技术，电影导演可以在真实场景中无缝地插入需要的物体，也可以将演员送到计算机生成的虚拟场景当中。几乎所有的现代电影制作都用到了图像精细分割与图像合成技术，例如“星球大战”，“黑客帝国”，“魔戒三步曲”以及“哈里波特”等等。图像精细分割的重要性可以完全由这些影片惊人的卖座率体现出来[2]。可以说，这些电影的成功很大程度上依赖于它们那令人惊叹的视觉特效；而这些特效的制作，应该归功于图像精细分割与图像合成技术的有效运用。因此，图像精细分割技术具有巨大的商业价值。此外，图像精细分割也广泛应用于现代媒体制作当中，包括杂志、二维艺术图像、电视、广告以及多媒体标题制作等等。尽管早在20世纪80年代数字图像精细分割的概念就已经被提出，然而其发展速度极其缓慢。直到近几年，随着计算机科学以及数学工具的发展，研究人员才对图像精细分割技术进行了深入的研究，提出了各种各样有效的精细分割算法。有的算法处理速度快，可以满足制作中的实时要求，但是只能在简单背景下a.毛发b.玻璃杯c.烟雾3工作；有的算法效果好，可以满足某些场合对复杂背景的精确要求，但是其速度却不尽人意；此外，由于图像的精细分割需要人工对图像进行前景和背景的标记，并且通常标记的优劣对于算法的效果影响较大。因此，如何在复杂背景（如自然图像背景）下，高效、高速地进行图像的精细分割，并且降低人机交互的难度，仍然是当前计算机图像和视觉领域的一个热点和难点。1.2数字图像精细分割的定义首先给出图像分割的定义。图像分割将图像划分为构成它的子区域或对象。基于集合的概念，对于图像分割可以给出如下比较形式化的定义[3]：令代表整个图像中像素的集合，则对的分割可以看作是将分成n个满足以下七个条件的非空子集（子区域），ni,...,,...,,21。①niiCC1；②如果i和j相邻，则ijCC；③1niiC；④ij，,ij，如果ij；⑤iPtrue，1,2,...,in；⑥ijPfalse，,ij，如果ij；⑦i是连通的区域，1,2,...,in。其中iC表示子区域i的边界，C表示所有子区域边界的集合，iP代表对所有在集合i中元素的逻辑谓词。条件1和条件2表明，分割后相邻子区域的边界是部分重叠的。条件3表明图像经过分割之后，原图像上的每一个像素要么在子区域i内，要么在边界C上。条件4表明各个子区域之间互不相交。条件5表明分割结果中每个子区域都有独特的特性，或者说属于同一个区域中的像素应该具有某些相同的特性。条件6指出在分割的结果中，不同的区域具有不同的特性，或者说属于不同区域的像素应该具有一些不同的特性。条件7表明分割后，同一个子区域中的任意两个像素在该子区域内是互相连通的。由图像分割的形式化定义可以看出，图像的像素被划分为互不相交的区域（区域边界除外）。数字图像精细分割的定义则是图像分割概念的扩展；同时数字图像精细分割亦可看作是数字图像合成（ImageCompositing）的逆操作。数字图像精细分割的概念与数字图像合成技术的发展密切相关。数字图像合成技术可以粗略地划分为三个主要的发展阶段（以下各式中，fgdC和bkgC分别表示前景和背景颜色的R、G、B三通道值；fgd和bkg分别表示前景和背景点的值）：1977年，AlvyRaySmith和EdCatmull在纽约理工学院工作时，提出一种将半透明前景图像与不透明背景图像进行合成的方法。前景图像中每一点的透明度由给出。图像中每一点的值可以映射为0（全透明）到1（不透明）之间的一个值。此时，Smith和Catmull首次开始将全体的值看成一张独立的图像，并提出了Alpha通道的概念。在他们思想的启发下产生了4通道（R、G、B、4Alpha）图像。他们采用的线性差值公式[4]为：1outfgdfgdfgdbgdCCC（1）1980年，BruceWallace和MarcLevoy推导出一种递归合成方法。按照该方法，两张半透明的图像可以合成为一张新的半透明图像。其公式为[5]：111outfgdbkg（2）1outfgdfgdfgdbgdbgdoutCCC（3）并且指出，利用该公式，图像的合成过程满足结合律。1984年，Port和Duff指出，通过在fgdC和bkgC上分别预先乘以fgd和bkg，Wallace和Levoy的公式可以简化为[6]：1outfgdfgdbkg（4）'''1outfgdfgdbkgCCC（5）其中，'fgdfgdfgdCC，'bkgbkgbkgCC，'outoutoutCC。并且定义了12个图像合成基本操作，由此产生了图像合成代数学。Smith和Catmull的公式描述了如何将两张图像合成为一张图像；当有多张图像需要合成时，使用该公式必须要考虑这些图像合成的先后顺序。而使用Wallace的公式，由于满足结合律，因此图像的合成过程与先后顺序无关。Porter和Duff提出预乘的概念，使得out和'outC能够采用相同的方式进行更新，使得计算计算更加简洁有效。由数字图像合成公式可知，通过引入透明度值，图像中任意像素点的颜色可以被看作由前景色和背景色按照一定比例混合而成[6]，如（6）式所示：1CFB（6）其中，C为像素的颜色值，F为该像素的前景值，B为该像素的背景值，0,1。图像精细分割可以定义为：已知给定图像上任一像素点的颜色C，求解该点颜色中包含的,,FB。容易看出，当仅取值0或者1时，图像精细分割就退化为图像分割。二、图像精细分割算法研究现状图像精细分割技术的起源最早可以追溯到19世纪50年代。在150多年的发展历程中，伴随着人类科学技术的不断发展，图像精细分割技术经历了光学和数字两大发展阶段。20世纪80年代，随着数字技术的发展，光学场景分割技术已经在很大程度上被数字图像精细分割技术所代替。数字图像精细分割按其发展历史，其大致可以分为两类：背景受限的精细分割和任意复杂背景的精细分割。2.1背景受限的精细分割常见的背景受限的精细分割有两类，差异分割和蓝屏分割。52.1.1差异分割（DifferenceMatting）差异分割的思想非常简单。例如，当我们在一个已知的环境中拍摄前景目标的图像时，我们往往可以再拍摄一张纯粹的背景图像。这样，我们可以通过两幅图像之间的差异来估计像素点的值。文献[7]提出了一种差异分割算法，通过输入图像与纯背景图像中像素的R、G、B分量来计算输入图像中各像素属于前景目标的概率，然后通过设定概率的阈值来确定各像素是否属于前景目标。具体算法如下：①设r和g分别为输入图像任一像素,xyp中红色和绿色所占的比例，I为该像素的饱和度，即/rRRGB（7）/gGRGB（8）同样定义'r和'g为纯背景图像对应像素中红色和绿色所占比例，'I为对应像素的饱和度。则该像素属于前景目标的概率P计算如下：,,,,xyxyxyxypIPpFp　如果　　其他情况（9）其中：2minmax0.5,0,1usignuu22,,,,,,,'''xyxyxyxyxyxyxyparrggbIId,,,'xyxyxypfIIh②设定阈值S，概率PS的像素点属于前景目标，即1；其余像素点属于背景，0。该算法虽然简单，但是通过简单的设定阈值来进行分割往往会导致边缘部分出现锯齿。因此文献[7]中对于前景目标的边缘部分做了平滑以及羽化的后处理。虽然消除了部分的锯齿现象，但是分割的误差仍然比较大。2.1.2蓝屏分割（BluescreenMatting）在RGB色彩空间中，对于图像合成方程（1）根据R、G、B三通道分别列出合成公式，可以得到方程组（5）：111RRRGGGBBBCFBCFBCFB（10）容易看出，由于未知数个数大于方程个数，方程组（5）没有唯一解。为了6减少方程组中的未知数个数，可以采用固定背景色的方法。这种精细分割被称为蓝屏分割。之所以称为蓝屏分割，是因为早期的方法通