2015-运动跟踪-角点检测

运动跟踪----角点检测一．运动目标检测（一）背景差1.帧差2.GMM等(二）运动场光流法二．目标跟踪1.什么是跟踪2.运动目标的表示方法3跟踪问题的解决思路1.1什么是跟踪(Tracking)？指在图像序列中持续地估计出感兴趣的运动目标所在区域（位置），形成运动目标的运动轨迹；把不同帧中目标标识出来。估计出运动目标的某些运动参数（比如速度、加速度等）。请大家观看一个例子1.2运动目标的表示方法基于点的跟踪基于区域的跟踪基于轮廓的跟踪基于模型的跟踪由简到繁采用上述的哪种方法来表示运动目标和不同的应用场合、运动目标的运动特性、以及对跟踪算法的精度要求等密切相关。1.3跟踪问题的解决思路*自底向上(Bottom-up)的处理方法又称为数据驱动(Date-driven)的方法，不依赖于先验知识自顶向下(Top-down)的处理方法又称为模型驱动(Model-driven)的方法，依赖于所构建的模型或先验知识*ComanniciuD,RameshV,MeerP.Kernel-basedobjecttracking.IEEETransactionsonPatternAnalysisandMachineIntelligence,2003,25(5):564~5771.3跟踪问题的解决思路基于特征匹配的跟踪点跟踪模板匹配(TemplateMatch)均值漂移(MeanShift)贝叶斯跟踪卡尔曼滤波器(KalmanFilter)粒子滤波器(ParticleFilter)隐马尔可夫模型动态贝叶斯模型2自底向上(Bottom-up)的处理方法2.1基于点的跟踪质心或一组特征点集运动轮廓的角点2.1基于点的跟踪将运动目标表示成点比较适合跟踪那些在图像上所占区域比较小的目标做简单刚体运动的目标（特征点集）角点检测角点是二维图像亮度变化剧烈的点或图像边缘曲线上曲率极大值的点。这些点在保留图像图形重要特征的同时,可以有效地减少信息的数据量,使其信息的含量很高,有效地提高了计算的速度,有利于图像的可靠匹配,使得实时处理成为可能。在三维场景重建、运动估计、目标跟踪、目标识别、图像配准与匹配等计算机视觉领域起着非常重要的作用。不同类型的角点什么是好的角点检测算法？•检测出图像中“真实的”角点•准确的定位性能•很高的重复检测率（稳定性好）•具有对噪声的鲁棒性•具有较高的计算效率算法分类基于灰度图像的角点检测基于梯度、基于模板、基于模板梯度组合基于二值图像的角点检测基于轮廓曲线的角点检测角点检测基于模板的方法主要考虑像素领域点的灰度变化，即图像亮度的变化，将与邻点亮度对比足够大的点定义为角点Moravec角点检测SUSAN角点检测算法MIC角点检测算法Harris角点检测算法1.Moravec角点检测Moravec于1977年提出了利用灰度方差提取点特征的算子。该算法的思想非常简单，后来的很多算法都是基于该算子改进的。Moravec角点检测算子可以简单描述为：在角点的某个领域内，亮度的变化在任意一条通过该点的直线上都很大．．根据Moravec角点检测算法，简化算法。设F(i,j)表示基准图像,选取一个3×3的活动窗口，对于每一象素点(i,j)，分别计算其在水平、垂直、左对角线和右对角线方向上与相邻象素灰度值的差的平方和，并把其中最小值的称为该象素点的灰度变化特征值，记为O(i,j)。RLVHjiOmin22)1,(),()1,(),(jiFjiFjiFjiFH22),(),1(),1(),(jiFjiFjiFjiFV22)1,1(),()1,1(),(jiFjiFjiFjiFL22)1,1(),()1,1(),(jiFjiFjiFjiFR再将图像划分为互不重叠的网格状区域，在每一个区域中搜索出灰度变化特征值最大的点即为所要提取的特征点。LimitationsMoravec算法的主要缺点是：Moravec算法只检测了窗口函数在8个基本方向上移动的强度变化，不能准确提取出全部角点；Moravec算子没有对图像进行降噪处理，所以其响应对噪声敏感；Moravec算子对边缘响应很敏感．角点检测基于模板的方法主要考虑像素领域点的灰度变化，即图像亮度的变化，将与邻点亮度对比足够大的点定义为角点Moravec角点检测SUSAN角点检测算法MIC角点检测算法Harris角点检测算法2SUSAN角点检测Smith等提出了一种全新而且直观的新方法——低层次图像处理小核值相似区方法(即smallunivaluesegmentassimilatingnucleus，简称SUSAN算法)。S.M.Smith,M.Brady,“SUSAN-ANewApproachtoLowLevelImageProcessing”InternationalJournalofComputerVision,Vol.23(1),pp.45-78,1997SUSAN算法的基本原理是：在每个像素移动一个小的圆形模板以检测局部信息，并利用预先设定的亮度阈值比较模板核及其周围像素的亮度值，亮度值相同或相近的为一个USAN，最后通过面积最小的USAN检测角点。a:核心点在角点上，USAN面积最小；b:在边缘线上，USAN面积是最大面积的一半；c、d：面积更大。所以可根据面积的大小检测出角点。对于图像中非纹理区域的任一点，在以它为中心的模板窗中存在一块亮度与其相同的区域，这块区域即为SUSAN的USAN（UnivalveSegmentAssimilatingNucleus）区域。2SUSAN角点检测USAN区域面积通过圆模板内各像素与中心点像素比较得到的相似点的个数总和来表示，该相似比较函数为：其中（x0,y0），(x,y)分别为模板中心像素点和待比较像素点的坐标，为相似度阈值，取整幅图像灰度最大值和最小值差值的1/10。角点响应函数（CRF）2SUSAN角点检测实例：取图像每11×11领域范围内来搜索CRF为极大值的像素点，当该像素点CRF数值大于控制阈值thresh（取13），则将该点标记为角点。角点（十字形标识）检测效果如图所示。角点检测基于模板的方法主要考虑像素领域点的灰度变化，即图像亮度的变化，将与邻点亮度对比足够大的点定义为角点Moravec角点检测SUSAN角点检测算法MIC角点检测算法Harris角点检测算法最小亮度变化(MinimumIntensityChange,MIC)，是Trajkovic等于1998年提出的一种快速算法。对角点的定义：所有方向上灰度变化最大的点。该算法使用一个圆形模板，计算任意一条直径的两个端点与圆点（核心点）差的平方和，然后求其最小值，作为该点的反应函数值。反应函数值大于某个阈值即为角点。M.Trajkovic,M.Hedley,“FastCornerDetection”ImageandVisionComputing,Vol.16(2),pp.75-87,19983MIC角点检测3MIC角点检测3MIC角点检测3MIC角点检测3MIC角点检测3MIC角点检测3MIC角点检测3MIC角点检测改进的MIC算法AA’BB’PP’QQ’α十字模版圆周插值C首先，利用十字模板求得四邻域的象素均值A、A’、B、B’；然后，利用圆周插值计算角点响应函数；最后，利用多格算法找到角点。线性插值MIC圆周插值十字模板MIC线性插值MIC（加椒盐噪声）圆周插值十字模板MIC（加椒盐噪声）角点检测基于模板的方法主要考虑像素领域点的灰度变化，即图像亮度的变化，将与邻点亮度对比足够大的点定义为角点Moravec角点检测SUSAN角点检测算法MIC角点检测算法Harris角点检测算法Harris角点检测基本思想•从图像局部的小窗口观察图像特征•角点定义窗口向任意方向的移动都导致图像灰度的明显变化Harris角点检测基本思想平坦区域：任意方向移动，无灰度变化边缘：沿着边缘方向移动，无灰度变化角点：沿任意方向移动，明显灰度变化Harris检测：数学表达图像灰度平移后的图像灰度窗口函数将图像窗口平移[u,v]产生灰度变化E(u,v)或窗口函数w(x,y)=Gaussian1inwindow,0outsideHarris检测：数学表达由：得：Harris检测：数学表达于是对于局部微小的移动量[u,v]，可以近似得到下面的表达：其中M是22矩阵，可由图像的导数求得：R的等高线图（k=0.2）R的等高线图（k=0.1）R的等高线图（k=0.05）Harris检测：数学表达12“Corner”“Edge”“Edge”“Flat”•R只与M的特征值有关•角点：R为大数值正数•边缘：R为大数值负数•平坦区：R为小数值R0R0R0|R|smallHarris角点检测：流程Harris角点检测：流程角点响应函数RHarris角点检测：流程提取R的局部极值Harris角点检测：流程Harris角点的性质旋转不变性：椭圆转过一定角度但是其形状保持不变（特征值保持不变）角点响应函数R对于图像的旋转具有不变性Harris角点的性质对于图像几何尺度变化不具有不变性：这几个点被分类为边缘点角点!图像缩小Harris角点的性质随几何尺度变化，Harris角点检测的性能下降Repeatabilityrate:#correspondences#possiblecorrespondencesC.Schmidet.al.“EvaluationofInterestPointDetectors”.IJCV2000参考Harris角点：C.Harris,M.Stephens.“ACombinedCornerandEdgeDetector”.Proc.of4thAlveyVisionConference,1988一个介绍角点检测的网站：~dparks/CornerDetector/index.htm一个PPT讲义：DaryaFrolova,DenisSimakov,MatchingwithInvariantFeatures,TheWeizmannInstituteofScience,March2004