角点及边缘混合检测器

角点及边缘混合检测器对于使用图像特征跟踪算法进行图像时序的3D译码来说，图像边缘滤波器的一致性是非常重要的。为了致力于对含有组织及离散特征点的图像区域进行研究，一种基于本地自相关函数的混合角点及边缘检测器已经投入使用，并且实际表明针对于自然图像其具有良好的一致性。简介阿尔维项目MMI149中，我们重点探讨的问题是:如何使用计算机视觉去阐述自然3D世界。该3D世界中的场景一般都包含了太多种类的特征以致于上下识别技术无法凑效。例如，我们想要获得一个自然场景的原理，其包含有道路、建筑、树木、灌木丛等等，正如图1中所描述的来自于同一时间序列的两幅图。解决我们所遇到问题的方案是：使用计算机视觉系统，该系统基于移动数码中单眼图像序列的运动分析。通过图像特征的引进与跟踪，所需场景的3D模拟再现便可以被构建。图1.来自于户外镜头的一组图像为了清晰展现图像特征的跟踪，图像特征必须是离散的，不能来于像组织、边缘等连续体。鉴于此，我们早期的工作便集中于图像特征点或角点的提取与跟踪，因为他们是离散的、可靠的且信息量丰富。然而，在我们获得高级别描述体的工作中，如表面或物体，特征点关联性的缺失是主要限制点。我们需要来自于边缘的更丰富的信息。边缘跟踪问题因为已知的对极相机几何构造，逐一像素基础上边缘图像的配准是工作于立体的。然而，针对于相机运动未知的运动问题，光圈问题使我们难以进行明显的边缘线配准，这些可以通过事先解决运动问题来克服。然而我们还是面临跟踪单一边缘相素和估测3D定位的任务，如运用KalmanFiltering进行3D定位。但该方法与下述方法相比是不够吸引力的:将边缘线整合成边缘部分，并将其作为特征去跟踪这些部分。现在我们需要考虑的自然图像包含了边缘曲线和不同规模的组织。以一系列直线部分形式再现边缘并将他们作为我们的离散特征是不合适的，因为曲线和组织边缘可以被理解为每个镜头图像上的不同框架，所以是无法跟踪的。因为病态，参数化曲线的使用是无法提供解决方案的，尤其是真实图像。当发现以上所述解决3D边缘理解问题的方案存在错误时，我们自然想到解决这个问题的必要性。一项心理视觉实验，观看旋转的弯曲挂衣架产生视觉歧义，该实验表明曲线边缘的3D译码问题可能是无法有效解决的。该问题在现实生活中很少出现，因为作为跟踪特征点的边缘会存在一定的缺陷和印迹。尽管可能无法获得边缘曲线的精确、清晰的3D形式，但是它所提供的关联性对于一些目的是很重要的，实际上边缘关联性可能要比清晰的3D测量更重要。跟踪边缘关联性，结合角点及交点的3D定位，可以提供线框的结构形式，且为那些用于假设3D表面的图形区域定界。这就留给我们一个展示可靠性边缘滤波器的问题。如五所述的边缘滤波器，设计出来并不是用来解决交点和角点问题的，也难以提供边缘关联性。针对Canny边缘处理器，这些已在图2中进行阐述，图中上限阈值及下限阈值边缘线分别以黑色和灰色的形式展示。注意到在灌木中有些边缘，并不是所有边缘，可以被眼睛清晰观测到。对迟滞化进行处理后，接着去掉刺激和短的边缘，交点完成算法的应用导出的边缘和交点情况见图3.其中边缘有灰色表示，交点用黑色表示。在灌木中，只有很少的边缘可以清晰可见。问题出现在与域值靠近处的边缘：在边缘强度或点素化上的微小变动会导致边缘拓扑结构的很大变化。使用边缘去描述灌木的方法是不可靠的，也许使用特征点的形式进行描述更好一些。图2.户外图像无关联Candy边缘图图3.户外图相相关联Candy边缘图解决该问题的方法是尝试探测图形的边缘和角点，交点包括在角点处聚合的边缘。为了达到这个方法，我们需要从Moravec’s角点探测算法。再谈MORAVECMORAVEC角点探测是通过在图形中设置窗口，并且在不同的方向上进行少量的窗口转化，最终计算由此导致的图形亮度的平均变化来实现的。以下三种方案需要考虑：A．如果窗口内图形是平的（或者在亮度上近似为常数），那么所有的转换只会导致很小的变化；B．如果窗口横跨一个边缘，那么沿着边缘的转变会导致很小的变化，但是在垂直边缘方向上的转变会导致很大的变化；C．如果窗口内是一个角点或离散点，那么所有方向上的转变都会引起很大变化。因此当发现任何形式的转变引起的最小变化很大的时候，就可以确定角点。接下来我们给出上述阐述详细的数学表达。用I表示图像强度，由变化（x,y）引起的变化E表述如下：Ex,y=vuvuw,,2,,vuvyuxII其中w表示指定图像窗口：它是在一个统一指定的别处是零的矩形区域。位移（x，y），被认为是包括（（1,0），（1,1），（0,1），（-1,1））。因此，莫拉维克的角落探测器很简单：寻找高于一些阈值的最小（E）的局部极大值。自相关探测器MORAVEC角点探测器用于测试图像之后的结果如图4a所示；为了比较，同时也展示出Beaudet和Kitchen&Rosenfeld算子的运算结果（图4b和4c分别所示）。MORAVEC处理器存在一些问题，它们将分别展示如下，并提供合适的校正措施。图4.测试图形上的角点探测1．响应是各向异性的，因为每隔45度仅有一个离散转变集被考虑-通过关于转换源的解析性拓展，所有小的转换都可以被覆盖。Ex,y=vuvuw,,2,,vuvyuxII=vuvuw,,222),(yxOyYxX其中第一个梯度近似为X=IxI)1,0,1(Y=IyIT)1,0,1(因此，对小的位移，E可以写E(x,y)=Ax2+2Cxy+By2其中A=X2wB=Y2wC=(XY)w2．响应是带有噪音的，因为窗口是双边且是矩形的-使用圆滑的圆形窗口，如高斯。Wu,v=2222)(expvu2．对于边缘，算子响应过于明显-再规化角点测量，以利用随着转变方向而改变的E的变化。对于E的这一微小变化可以表述为：E(x,y)=(x,y)M(x,y)T其中的2x2M是对称矩阵M=BCCA注意到，E与本地自相关函数很相近，同时M描述了源处的形状（很明显，用Taylor展开的形式）。设，是M的特征值，和与局部自相关函数的主曲率成正比，形成旋转不变的M的描述。和前面一样，有三种方案可考虑：A.如果两个都是小曲率，使局部自相关函数是平滑的，那么窗口图像区域近似是恒定强度的（例如图像斑块的任意位移造成E的微小变化）;B.如果一个曲率高，而其它低，使局部自相关函数成为脊形，则只有沿脊位移（即沿边缘）E的变化才不大：说明这是一个边缘;C.如果两个曲率很高，使局部的自相关函数急剧达到高峰，则在任何方向的位移将使E增加：说明这是一个角点。分析（α，β）空间图形。理想的边缘是α很大，β为0；然而实际上，因为噪音、点素化影响、强度等量化等影响，β仅仅比α小一些。α和β都大表示是一个角点，α和β都小表示一个平面图像区域。由于图像对比度系数P增加和α和β按P2的比例增加对比，那么，对于P为正数，（α，β）被认为是边缘区域，那么（αP2，βP2）也应该是。类似的情况也适用于角点。因此，（α，β）的空间就在图5中用粗线划分出来。图5.自相关主曲率大空间行给予的角点/边缘/平面的分类，细纹都是同响应等高线角点/边缘响应函数我们不仅需要确定角点及边缘分类区域，还需要对角点及边缘的质量或响应进行测量。响应的大小会被用来选择离散角点像素且用于降低边缘像素。让我们首先考虑角点响应的措施，由于旋转不变的原因，R是我们需要的一个只包括和的函数。在公式中，使用Tr（M）和Det（M）是可行的，因为这会明确的避免M的特征值分解，从而Tr)(MBADet2)(CABM考虑下面的角点响应激励方程R=Det2kTr图5所显示的细纹就是常数R的等高线。R在角点区域是正的，在边缘区域是负的，在平滑区域是很小的。注意到增加对比度（即径向移动远离原点）在任何情况下提高了幅值响应。该单位指定区域Tr低于一些选定的阈值。如果角点区域像素（其响应为正）的响应在八个方向上都是区域最大化，则其将会被选择作为指定的角点像素：在测试图形中如此探测到的角点如4d所示。如果边缘区域像素是负的，且在x,y方向上区域最小，则不管两个方向上第一梯度的幅值是否大，其都会被认为是边缘像素。这就会导致细的边缘。这种新的角点边缘分类结果见图6，其中黑色表明角点区域，灰色指代细边缘。图6边缘/户外图像的角点分类（灰=角点区域，白色=薄边）。通过使用低阈值及高阈值，边缘滞后就可以进行，且可以强化边缘的连续性。该种分类导致5级图像其中包括：背景，两个角类和两个边类。进一步处理（类似于结点的完成）将删除边缘骨刺、孤立的边缘和边缘连续区域的小断裂。这导致在一般终止角点区域出现连续薄边。在角点区域中，边缘终端与角点像素相互联系，形成连接边顶点图，如图7所示。注意：在丛林中许多的角点与边缘无关，因为它们所在区域在本质上是纹理区域。虽然在图中不是显而易见，但很多角点和边缘是直接可以匹配的。进一步的工作是作关于连接点的完成算法，目前相当简陋，并在自适应阈值区域。图7已完成的户外图像边缘（白=角点，黑色=边缘）致谢作者们非常感激使用JSherlockofRSRE提供的的RSRE图像（角点算子的比较，图4）和根据国防部的合同取得的结果。在本文中使用的灰色图像出自以下版权：版权所有©1988年英国伦敦控制器文书局参考文献1.Harris,CG&JMPike,3DPositionalIntegrationfromImageSequences,ProceedingsthirdAlveyVisionConference(AVC87),pp.233-236,1987;reproducedinImageandVisionComputing,vol6,no2,pp.87-90,May1988.2.Charnley,D&RJBlissett,SurfaceReconstructionfromOutdoorImageSequences,ProceedingsfourthAlveyVisionClub(AVC88),1988.3.Stephens,MJ&CGHarris,3DWire-FrameIntegrationfromImageSequences,ProceedingsfourthAlveyVisionClub(AVC88),1988.4.Ayache,N&FLustman,FastandReliablePassiveTrinocularStereovision,ProceedingsfirstICCV,1987.5.Canny,JF,FindingEdgesandLinesinImages,MITtechnicalreportAI-TR-720,1983.6.Moravec,H,ObstacleAvoidanceandNavigationintheRealWorldbyaSeeingRobotRover,TechReportCMU-RI-TR-3,Carnegie-MellonUniversity,RoboticsInstitute,September1980.7.Beaudet,PR,RotationallyInvariantImageOperators,InternationalJointConferenceonPatternRecognition,pp.579-583(1987).8.Kitchen,L,andA.Rosenfeld,Grey-levelCornerDetection,PatternRecognitionLetters,1,pp.95-102(1982).译文原文出处：C.HarrisandM.Stephens,“Acombinedcornerandedgedetector”,AlveyVisionConference,Manchester,1988,pp.147-151.