sift介绍

ScaleInvariantFeatureTransformSIFT2020/1/101尺度不变特征变换匹配算法ScaleInvariantFeatureTransform（SIFT）邱爽蒋仕新ScaleInvariantFeatureTransformSIFT2020/1/1021.SIFT简介2.SIFT算法实现细节提纲3.SIFT算法的扩展与改进4.SIFT算法的应用ScaleInvariantFeatureTransformSIFT2020/1/103SIFT简介传统的特征提取方法•成像匹配的核心问题是将同一目标在不同时间、不同分辨率、不同光照、不同位姿情况下所成的像相对应。传统的匹配算法往往是直接提取角点或边缘，对环境的适应能力较差，急需提出一种鲁棒性强、能够适应不同光照、不同位姿等情况下能够有效识别目标的方法。ScaleInvariantFeatureTransformSIFT2020/1/104•1999年BritishColumbia大学大卫.劳伊（DavidG.Lowe）教授总结了现有的基于不变量技术的特征检测方法，并正式提出了一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子－SIFT（尺度不变特征变换），这种算法在2004年被加以完善。SIFT提出的目的和意义DavidG.LoweComputerScienceDepartment2366MainMallUniversityofBritishColumbiaVancouver,B.C.,V6T1Z4,CanadaE-mail:[e-mail]简介ScaleInvariantFeatureTransformSIFT2020/1/105SIFT简介将一幅图像映射（变换）为一个局部特征向量集；特征向量具有平移、缩放、旋转不变性，同时对光照变化、仿射及投影变换也有一定不变性。OriginalimagecourtesyofDavidLoweScaleInvariantFeatureTransformSIFT2020/1/106SIFT简介SIFT算法特点•SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性。•独特性(Distinctiveness)好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配。•多量性，即使少数的几个物体也可以产生大量SIFT特征向量。•经过优化的SIFT算法可满足一定的速度需求。•可扩展性，可以很方便的与其他形式的特征向量进行联合。ScaleInvariantFeatureTransformSIFT2020/1/107目标的自身状态、场景所处的环境和成像器材的成像特性等因素影响图像配准/目标识别跟踪的性能。而SIFT算法在一定程度上可解决：•目标的旋转、缩放、平移（RST）•图像仿射/投影变换（视点viewpoint）•光照影响（illumination）•目标遮挡（occlusion）•杂物场景（clutter）•噪声SIFT算法可以解决的问题SIFT简介BackScaleInvariantFeatureTransformSIFT2020/1/108SIFT算法实现细节SIFT算法实现步骤简述SIFT算法的实质可以归为在不同尺度空间上查找特征点（关键点）的问题。特征点检测特征点描述目标的特征点集特征点匹配目标的特征点集目标图像SIFT特征点检测特征点描述原图像SIFT匹配点矫正关键点，就是在不同尺度空间的图像下检测出的具有方向信息的局部极值点。ScaleInvariantFeatureTransformSIFTSIFT算法实现物体识别主要有三大工序，1、提取关键点；2、对关键点附加详细的信息（局部特征）也就是所谓的描述器；3、通过两方特征点（附带上特征向量的关键点）的两两比较找出相互匹配的若干对特征点，也就建立了景物间的对应关系。尺度空间理论是通过对原始图像进行尺度变换，获得图像多尺度下的尺度空间表示序列，对这些序列进行尺度空间主轮廓的提取，并以该主轮廓作为一种特征向量，实现边缘、角点检测和不同分辨率上的特征提取等。SIFT算法实现细节ScaleInvariantFeatureTransformSIFT2020/1/10101.尺度空间极值检测建立高斯金字塔建立DOG金字塔DOG空间极值点检测2.关键点定位3.确定关键点的主方向4.关键点描述SIFT算法实现细节SIFT算法实现步骤ScaleInvariantFeatureTransformSIFT2020/1/1011所谓关键点，就是在不同尺度空间的图像下检测出的具有方向信息的局部极值点。根据归纳，我们可以看出特征点具有的三个特征：尺度方向大小尺度空间极值检测1.哪些点是SIFT中要查找的关键点（特征点）？这些点是一些十分突出的点不会因光照条件的改变而消失，比如角点、边缘点、暗区域的亮点以及亮区域的暗点，既然两幅图像中有相同的景物，那么使用某种方法分别提取各自的稳定点，这些点之间会有相互对应的匹配点。ScaleInvariantFeatureTransformSIFT一个图像的尺度空间定义为原始图像与一个可变尺度的2维高斯函数卷积运算。(,,)Lxy(,)Ixy(,,)Gxy(,,)(,,)*(,)LxyGxyIxy222()221(,,)2xyGxye尺度空间极值检测ScaleInvariantFeatureTransformSIFT•建立高斯金字塔高斯金子塔的构建过程可分为两步：1）对图像做高斯模糊；2）对图像做降采样。根据不同的尺度，一幅图像可以产生几组(octave)图像，一组图像包括几层(interval)图像。Octave1Octave2Octave3Octave4Octave5248……………尺度空间极值检测ScaleInvariantFeatureTransformSIFT2020/1/1014高斯模糊高斯模糊是在AdobePhotoshop等图像处理软件中广泛使用的处理效果，通常用它来减小图像噪声以及降低细节层次。这种模糊技术生成的图像的视觉效果是好像经过一个半透明的屏幕观察图像。尺度空间极值检测ScaleInvariantFeatureTransformSIFT2020/1/10152221rrexp22G22r=xyr为模糊半径，尺度空间的获取需要使用高斯模糊来实现。在进行欠采样的时，通常在采样之前对图像进行低通滤波处理。这样就可以保证在采样图像中不会出现虚假的高频信息。尺度空间极值检测ScaleInvariantFeatureTransformSIFT2020/1/1016•在实际应用中，在计算高斯函数的离散近似时，在大概3σ距离之外的像素都可以看作不起作用，这些像素的计算也就可以忽略。•通常，图像处理程序只需要计算(61)(61)高斯模板大小的选择0.000000670.000022920.000191170.000387710.000191170.000022920.000000670.000022920.000786330.006559650.013303730.006559650.000786330.000022920.000191170.006559650.054721570.110981640.054721570.006559650.000191170.000387710.013303730.110981640.225083520.110981640.013303730.000387710.000191170.006559650.054721570.110981640.054721570.006559650.000191170.000022920.000786330.006559650.013303730.006559650.000786330.000022920.000000670.000022920.000191170.000387710.000191170.000022920.00000067高斯模板尺度空间极值检测ScaleInvariantFeatureTransformSIFT•降采样上一组图像的底层是由前一组图像的最后一层图像隔点采样生成的。尺度空间极值检测ScaleInvariantFeatureTransformSIFT•建立DOG金字塔在尺度空间中有效检测关键点的位置，对图像使用可变的高斯差分函数求尺度空间中的极值。即将相邻尺度高斯平滑后图像相减DOG图像描绘的是目标的轮廓(,,)Dxy(,,)(,,)(,,)DxyLxykLxy尺度空间极值检测ScaleInvariantFeatureTransformSIFT2020/1/1019尺度空间极值检测ScaleInvariantFeatureTransformSIFT•DOG检测局部极值点关键点是由DOG空间的局部极值点组成的。为了寻找DOG函数的极值点，每一个像素点要和它所有的相邻点比较，看其是否是所有相邻点中的最大值或最小值，若是就认为它是一个极值点。中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点。尺度空间极值检测ScaleInvariantFeatureTransformSIFT2020/1/1021关键点精确定位为了提高关键点的稳定性，需要对尺度空间DoG函数进行曲线拟合。利用DoG函数在尺度空间的Taylor展开式：2212TTDDDXDXXXXX其极值点ˆ,,TXxy由于DoG值对噪声和边缘较敏感,因此,在上面DoG尺度空间中检测到局部极值点还要经过进一步的检验才能精确定位为特征点。尺度空间极值检测ScaleInvariantFeatureTransformSIFT2020/1/1022去除边缘响应仅仅去除低对比度的极值点对于极值点的稳定性是远远不够的。DoG函数在图像边缘有较强的边缘响应，因此我们还需要排除边缘响应。DoG函数的（欠佳的）峰值点在横跨边缘的方向有较大的主曲率，而在垂直的方向有较小的主曲率。主曲率可以通过计算在该点位置尺度的2×2的Hessian矩阵得到，导数由采样点相邻差来估计：xxxyxyyyDDHDDxxD表示DOG金字塔中某一尺度的图像x方向求导两次尺度空间极值检测ScaleInvariantFeatureTransformSIFT2020/1/1023221TrHrDetHr在两特征值相等时达最小，随r的增长而增长。Lowe论文中建议r取10。21rrr2221TrHrDetHrD的主曲率和H的特征值成正比，为了避免直接的计算这些特征值，而只是考虑它们的之间的比率。令为最大特征值，为最小的特征值，则xxyyTrHDDxxyyxyxyDetHDDDD时将关键点保留，反之剔除尺度空间极值检测ScaleInvariantFeatureTransformSIFT2020/1/1024关键点方向分配通过尺度不变性求极值点，可以使其具有缩放不变的性质，利用关键点邻域像素的梯度方向分布特性，我们可以为每个关键点指定方向参数，从而使描述子对图像的旋转具有不变性。,,IIgradIxyxy22,1,1,,1,1mxyLxyLxyLxyLxy1,1,1,tan1,1,LxyLxyxyLxyLxy像素点的梯度表示梯度幅值：梯度方向：我们通过求每个极值点的梯度来为极值点赋予方向。ScaleInvariantFeatureTransformSIFT2020/1/1025关键点方向分配方向直方图的生成确定关