第十章 图像分割

图像分割概述间断检测边缘连接和边界检测阈值处理基于区域的分割分割中运动的应用图像分割分割的目的：将图像划分为不同区域三大类方法根据区域间灰度不连续搜寻区域之间的边界，在间断检测、边缘连接和边界检测介绍以像素性质的分布进行阈值处理，在阈值处理介绍直接搜寻区域进行分割，在基于区域的分割中介绍图像分割概述在对图像的研究和应用中，人们往往仅对图像中的某些部分感兴趣，这些部分一般称为目标或前景为了辨识和分析目标，需要将有关区域分离提取出来，在此基础上对目标进一步利用，如进行特征提取和测量图像分割就是指把图像分成各具特性的区域并提取出感兴趣目标的技术和过程图像分割概述（续）特性可以是灰度、颜色、纹理等，目标可以对应单个区域，也可以对应多个区域图像分割算法是基于亮度值的不连续性和相似性不连续性是基于亮度的不连续变化分割图像，如图像的边缘根据制定的准则将图像分割为相似的区域，如阈值处理、区域生长、区域分离和聚合图像分割举例Image#134052#169012#253036#249061MDLPR=0.718PR=0.781PR=0.710PR=0.865MMLPR=0.670PR=0.800PR=0.607PR=0.758ERL1PR=0.759PR=0.933PR=0.897PR=0.951ERL2PR=0.763PR=0.933PR=0.897PR=0.953Row1:ImageRow2:RPCLRow3:CACRow4:ERL#3096pr=0.521pr=0.480pr=0.861#85048pr=0.740pr=0.565pr=0.850#175043pr=0.375pr=0.401pr=0.789#182053pr=0.613pr=0.858pr=0.890#219090pr=0.822pr=0.820pr=0.914基于边缘生长的图像分割算法结果参考文献：林通，“基于内容的视频索引与检索方法的研究”，北京大学数学科学学院，博士论文，2001。基于边缘生长的图像分割算法结果基于边缘生长的图像分割算法结果基于边缘生长的图像分割算法结果基于边缘生长的图像分割算法结果图像分割概述间断检测边缘连接和边界检测阈值处理基于区域的分割分割中运动的应用图像分割间断检测点检测线检测边缘检测寻找间断的一般方法：模板检测R1z12z2...9z99izii1间断检测点检测使用如图所示的模板，如果RT，则在模板中心位置检测到一个点其中，T是阈值，R是模板计算值基本思想：如果一个孤立点与它周围的点不同，则可以使用上述模板进行检测。注意：如果模板响应为0，则表示在灰度级为常数的区域点检测例子孔中嵌有一个黑点图a应用检测模板的结果图b使用图b中像素最高值的90%作为阈值图c结论：孤立点可以通过检测模板并设置阈值进行检测间断检测线检测4个线检测模板第一个模板对水平线有最大响应第二个模板对45o方向线有最大响应第三个模板对垂直线有最大响应第四个模板对-45o方向线有最大响应间断检测线检测用R1,R2,R3和R4分别代表水平、45o、垂直和-45o方向线的模板响应，在图像中心的点，如果RiRj,ji则此点被认为与在模板i方向上的线更相关例：如果R1Rj,j2,3,4则该点与水平线有更大的关联在灰度恒定的区域，上述4个模板的响应为零线检测例子二值电路接线模板，寻找方向为-45o的线条使用阈值方法，阈使用-45o模板，得到结果的绝对值值等于图像中最大值得到的结果，一些孤立点使用点模板检测删除，或用形态学腐蚀法删除间断检测边缘检测什么是边缘？一组相连的像素集合，这些像素位于两个区域的边界上一阶导数和二阶导数在识别图像边缘中的应用数字边缘模型理想数字边缘模型斜坡数字边缘模型斜坡的产生是由光学系统、取样和图像采集系统的不完善带来的边缘模糊造成的间断检测边缘在边缘斜面上，一阶导数为正，其它区域为零在边缘与黑色交界处，二阶导数为正在边缘与亮色交界处，二阶导数为负沿着斜坡和灰度为常数的区域为零间断检测结论一阶导数可用于检测图像中的一个点是否在边缘上二阶导数可以判断一个边缘像素是在边缘亮的一边还是暗的一边一条连接二阶导数正值和负值的虚构直线将在边缘中点附近穿过零点一阶导数使用梯度算子，二阶导数使用拉普拉斯算子GxxGyf212GyG边缘检测梯度算子图像f(x,y)在位置(x,y)的梯度定义为下列向量fFyfmagFGxx,yarctanxGy2边缘检测Roberts交叉梯度算子f|Gx|+|Gy|＝|z9-z5|+|z8–z6|z1z2z3z4z5z6z7z8z9梯度计算由两个模板组成，第一个求得梯度的第一项，第二个求得梯度的第二项，然后求和，得到梯度。两个模板称为Roberts-100-1交叉梯度算子0110边缘检测Prewitt梯度算子——3x3的梯度模板f|Gx|+|Gy|=|(z7+z8+z9)-(z1+z2+z3)|+|(z3+z6+z9)-(z1+z4+z7)|-1-1-1-101z1z2z3010101-1-10011z4z5z6z7z8z9边缘检测Sobel梯度算子——3x3的梯度模板权值2用于通过增加中心点的重要性而实现某种程度的平滑效果f|Gx|+|Gy|=|(z7+2z8+z9)-(z1+2z2+z3)|+|(z3+2z6+z9)-(z1+2z4+z7)|-1-2-1-101z1z2z3010201-2-10021z4z5z6z7z8z9边缘检测结论Prewitt和Sobel算子是计算数字梯度时最常用的算子Prewitt模板比Sobel模板简单，但Sobel模板能够有效抑制噪声边缘检测原图像|Gx|，x方向上的梯度分量，水平细节非常清楚|Gy|，y方向上的梯度分量，梯度图像|Gx|+|Gy|，水平和垂直细节非常清楚垂直细节都非常清楚问题：砖墙等图像细节对边缘提取不必要处理办法：对图像进行平滑处理边缘检测原图像经过5×5的均值滤波器进行平滑处理|Gx|，x方向上的梯度分量，突出水平细节|Gy|，y方向上的梯度分量，梯度图像|Gx|+|Gy|，突出水平和突出垂直细节垂直细节边缘检测Sobel45o模板的检测结果Sobel-45o模板的检测结果2f2f拉普拉斯算子图像函数的拉普拉斯变换定义为2fx2y22f4z5z2z4z6z82f8z5z1z2z3z4z6z7z8z9z1z2z3z4z5z6z7z8z9拉普拉斯算子拉普拉斯算子总结缺点：拉普拉斯算子对噪声具有敏感性拉普拉斯算子的幅值产生双边缘拉普拉斯算子不能检测边缘的方向优点：可以利用零交叉的性质进行边缘定位可以确定一个像素是在边缘暗的一边还是亮的一边22r2r22拉普拉斯算子拉普拉斯算子与平滑过程一起利用零交叉找到边缘hrr2e2r2x2y2是标准差hr42e2上式称为高斯型的拉普拉斯算子LoG拉普拉斯算子三维曲线横截面图像：白色是正值区域，黑色是负值区域，灰色是零值区域近似的5×5模板：一个正的中心项，周围是一个相邻的负值区域，并被一个零值的外部区域包围。系数的总和为零拉普拉斯算子高斯型拉普拉斯算子总结高斯型函数的目的是对图像进行平滑处理拉普拉斯算子的目的是提供一幅用零交叉确定边缘位置的图像平滑处理减少了噪声的影响例：通过零交叉检测边缘原图空间高斯型平滑函数LoG检测结果Sobel算子检测结果拉普拉斯算子模板检测边缘：寻找零交叉点，检测黑色和白色区域之间的过渡点对LoG图像设置阈值的结果，所有正值区域为白色，所有负值区域为黑色拉普拉斯算子结论（对比二阶拉普拉斯算子和一阶Sobel梯度算子）缺点边缘由许多闭合环的零交叉点决定零交叉点的计算比较复杂优点零交叉点图像中的边缘比梯度边缘细抑制噪声的能力和反干扰性能结论：梯度算子具有更多的应用图像分割概述间断检测边缘连接和边界检测阈值处理基于区域的分割分割中运动的应用图像分割边缘连接和边界检测为什么需要边缘连接？局部处理整体处理之霍夫变换图像分割为什么需要边缘连接？由于噪声、照明等产生边缘间断，使得一组像素难以完整形成边缘因此，在边缘检测算法后，使用连接过程将间断的边缘像素组合成完整边缘图像分割局部处理分析图像中每个边缘点(x,y)的一个邻域内的像素，根据某种准则将相似点进行连接，由满足该准则的像素连接形成边缘如何确定边缘像素的相似性边缘像素梯度算子的响应强度边缘像素梯度算子的方向GyG图像分割边缘像素梯度算子的响应强度如果fx,yfx0,y0E则(x,y)邻域内坐标为(x0,y0)的边缘像素，在幅度上相似于(x,y)的像素边缘像素梯度算子的方向如果x,yx0,y0A,x,yarctanx则(x,y)邻域内坐标为(x0,y0)的边缘像素，在角度上相似于(x,y)的像素边缘局部处理例子原始图像：检测车牌牌照Sobel算子的Gx分量Sobel算子的Gy分量边缘连接的结果美国牌照的长宽比例是2:1通过Hough变换进行整体处理Hough变换问题的提出Hough变换的基本思想算法实现Hough变换的扩展通过Hough变换进行整体处理Hough变换问题的提出在找出边界点集之后，需要连接，形成完整的边界图形描述通过Hough变换进行整体处理Hough变换的基本思想xy平面上的任意一条直线y=ax+b，对应在参数ab平面上都有一个点ab过xy平面一个点(x,y)的所有直线，构成参数ab平面上的一条直线ab通过Hough变换进行整体处理Hough变换的基本思想如果点(x1,y1)与点(x2,y2)共线，那么这两点在参数ab平面上的直线将有一个交点,具有相同的a和ba’x(x1,y1)(x2,y2)yb’ba在参数ab平面上相交直线最多的点，对应的xy平面上的直线就是我们的解通过Hough变换进行整体处理Hough变换的基本思想aAb通过Hough变换进行整体处理Hough变换算法实现由于垂直直线a为无穷大，我们改用极坐标形式：xcos+ysin=参数平面为,，对应不是直线而是正弦曲线使用交点累加器，或交点统计直方图，找出相交线段最多的参数空间的点然后找出该点对应的xy平面的直线线段通过Hough变换进行整体处理Hough变换的扩展Hough变换不只对直线，也可以用于圆：（x–c1）2+(y-c2)2=c32这时需要三个参数的参数空间图像分割概述间断检测边缘连接和边界检测阈值处理基于区域的分割分割中运动的应用图像分割阈值处理基础基本全局阈值基本自适应阈值最佳全局和自适应阈值通过边界特性选择阈值基于不同变量的阈值阈值处理基础暗的背景：f(x,y)≤T亮的对象：f(x,y)T暗的背景：f(x,y)≤T1亮的一个对象：T1f(x,y)≤T2亮的另一个对象：f(x,y)T21阈值处理基础阈值处理操作TTx,y,px,y,fx,yf(x,y)是点(x,y)的灰度级，p(x,y)表示该点的局部性质，如以(x,y)为中心的邻域的平均灰度级阈值处理后的图像g(x,y)定义为gx,y0fx,yTfx,yT1阈值处理基础gx,y0fx,yTfx,yT标记为1的像素对应于对象，标记为0的像素对应于背景当T仅取决于f(x,y)，阈值称为全局的当T取决于f(x,y)和p(x,y)，阈值是局部的当T取决于空间坐标x和y，阈值就是动态的或自适应的图像分割基本全局阈值例子亮背景暗对象1.2.3.5.图像分割计算基本全局阈值算法选择一个T的初始估