第3章-局部不变性特征描述子-(1)

内容提要3.1基本概念3.2局部特征3.3典型算法1.图像分析的目的从图像中获取待研究目标的有用信息，让计算机机具有认识、理解、识别图像的能力图像描述：用一组数字量或符号(描述子)来表征图像中被描述物体的某些特征3.1基本概念图像中的区域(目标)，可用其内部(如组成区域的象素集合)表示，也可用其外部(如组成区域边界的象素集合)表示关心区域的反射性质如灰度、颜色、纹理等关心区域的形状等选定了表达方法，还需要对目标进行描述，使计算机能充分利用所能获得的分割或者其他结果表达是直接具体的表示目标。好的表达方法应具有节省存储空间、易于特征计算等优点描述是较抽象的表示目标。好的描述应在尽可能区别不同目标的基础上对目标的尺度、平移、旋转等不敏感2.特征提取的广义定义根据待识别的图像的特点，通过计算机的计算产生的一组原始特征来表示原始图像，称之为特征形成，一般称为特征提取。3.狭义定义特征提取：在原始特征基础上选择一些主要特征作为判别用的特征，以达到降低特征空间维数的目的。可区别性、可靠性、独立性好、数量少特征选择：原始样本处于一个高维空间中，采用某种变换技术，将高维特征变换或映射到低维空间，得到最具代表性的较少的综合低维特征。色图像特征形颜色特征亮度信息特征（光谱）几何形状边缘特征纹理特征空间关系色调、颜色、阴影、反差形状、大小、空间布局、纹理图像特征特征类别像素级特征：从每一个像素点计算的特征，如颜色、位置局部特征：从局部的区域计算的特征，如关键点（兴趣点）、局部区域，等全局特征：从整个图像级提取的特征形态特征vs.纹理特征纹理特征纹理是一个模糊的概念，无统一的定义由许多互相接近的、互相编织的元素构成，并常富有周期性，如小成分构造，最典型的如纺织品纤维的结构纹理描述很少用到边缘检测特点：不是基于像素点的特征，它需要在包含多个像素点的区域中进行统计计算局部区域中像素位置之间的相关性局部特征不是关键，其若干不变性（旋转不变性、尺度不变性、仿射不变性、灰度不变性等）才是局部特征研究发展的关键！熵、能量、部分矩具有旋转不变性，还具有尺度不变性不变性：假设有一个函数f(x)和变换G，如果满足f(G(x))=f(x)，也就是作用在自变量x上的变换并不改变函数的值，则称f具有G不变性。协变性：如果f和G满足交换律，即f(G(x))=G(f(x))，则f对于变换G具有协变性。3.2局部特征几何变形包括5部分：平移，Euclidean（平移+旋转），相似（平移+旋转+缩放），仿射变换，透视变换图像几何变换的实质：改变像素的空间位置或估算新空间位置上的像素值图像几何变换的一般表达式其中，[u,v]为变换后图像像素的笛卡尔坐标，[x,y]为原始图像中像素的笛卡尔坐标。)],(),,([],[yxYyxXvu1）平移变换若图像像素点平移到，则变换函数为写成矩阵表达式为：其中，和分别为x和y的坐标平移量。注意：平移后的景物与原图像相同，但“画布”一定是扩大了。否则就会丢失信息。),(yx),(00yyxx0),(xxyxXu0(,)vYxyyy00yxyxvu0x0y2）比例缩放若图像坐标缩放到()倍，则变换函数为：其中,分别x和y坐标的缩放因子，其大于1表示放大，小于1表示缩小。),(yxyxss,00xysuxsvyyxss,3）旋转变换将输入图像绕笛卡尔坐标系的原点逆时针旋转θ角度，则变换后图像坐标为：这个计算公式计算出的值为小数，而坐标值为正整数这个计算公式计算的结果值所在范围与原来的值所在的范围不同因此需要前期处理：扩大画布，取整处理，平移处理旋转后处理：插值yxvucossinsincos4）仿射变换图像仿射变换提出的意义是采用通用的数学影射变换公式，来表示前面给出的几何变换。平移、比例缩放和旋转变换都是一种称为仿射变换的特殊情况。2102101xaaauybbbv仿射变换性质仿射变换有6个自由度（对应变换中的6个系数），因此，仿射变换后互相平行直线仍然为平行直线，三角形映射后仍是三角形。但却不能保证将四边形以上的多边形映射为等边数的多边形。仿射变换的乘积和逆变换仍是仿射变换。仿射变换能够实现平移、旋转、缩放等几何变换。5）透视变换把物体的三维图像表示转变为二维表示的过程，称为透视变换，也称为投影映射，其表达式为:透视变换也是一种平面映射，并且可以保证任意方向上的直线经过透视变换后仍然保持是直线。透视变换具有9个自由度（其变换系数为9个），故可以实现平面四边形到四边形的映射。1'''333231232221131211yxaaaaaaaaawvu局部特征性质局部图像特征描述的核心问题是不变性、鲁棒性和可区分性。不变性：指局部特征不随图像大的变形而改变。对于大的图像变形往往需要先对这些变形进行建模，然后再设计不受这些变形影响的特征检测算法。鲁棒性：指局部特征对于小的变形应该不敏感。这类变形包括图像噪声、离散化效应、压缩、图像模糊等，以及由于数学建模而引入的小的几何或成像形变等。可区分性：特征具有区别不同类别的能力。可区分性的强弱往往和其不变性是矛盾的。一个具有众多不变性的特征描述子，其区分局部图像内容的能力就稍弱；而如果一个非常容易区分不同局部图像内容的特征描述子，它的鲁棒性往往比较低。局部特征应用举例图像配准图像表示目标识别全景图像拼接。。。局部特征的发展趋势快速、低存储SIFT——里程碑式的工作SURF3.3典型算法尺度3.3.1尺度空间理论广义尺度制图尺度地图比例尺图上距离与实际距离之比大比例尺→小范围、详细信息地理尺度观测尺度研究的空间范围或大小如：大尺度覆盖大的研究区域分辨率测量尺度区分目标的最小可分辨单元(如：像元)运行尺度有效尺度地学现象发生的空间范围一定环境中发挥效应的尺度如：森林比树的运行尺度大空间尺度时间尺度语义尺度尺度空间方法的基本思想：在视觉信息(图像信息)处理模型中引入一个被视为尺度的参数，通过连续变化尺度参数获得不同尺度下的视觉处理信息，然后综合这些信息以深入地挖掘图像的本质特征。尺度空间方法将传统的单尺度视觉信息处理技术纳入尺度不断变化的动态分析框架中，因此更容易获得图像的本质特征。图像的尺度空间表达指的是图像在所有尺度下的描述。3.3.1尺度空间理论尺度空间理论是通过对原始图像进行尺度变换，获得图像多尺度下的尺度空间表示序列，对这些序列进行尺度空间主轮廓的提取，并以该主轮廓作为一种特征向量，实现边缘、角点检测和不同分辨率上的特征提取等。尺度空间表示是一种基于区域而不是基于边缘的表达，它无需关于图像的先验知识。尺度空间理论属于CV中图像的多分辨率分析。3.3.1尺度空间理论金字塔多分辨率一个金字塔表达，通常结合滤波和二次抽样连续地减少图像尺寸来生成。常用的金字塔结构有Gaussian金字塔、Laplacian金字塔、小波金字塔等。金字塔影像是一种较老的尺度表示方法，结合了降采样操作和平滑处理，它的一个很大的好处是：自下而上每一层的像素数都不断减少，这会大大减少计算量，而缺点是这种自下而上的金字塔在尺度量化方向显得较为粗糙。金字塔影像–图像金字塔是以多分辨率来解释图像的一种结构。–一般按照2n(n=0,1,2…)取平均得到。–最底层的影像对应原始影像。–通过每2x2=4个像素平均，即可构成2级影像级，如此类推，即可构成多级金字塔影像。–每一级(2i)影像的像素总数对于前一级(2i-1)影像以4的倍数缩小(也可通过3x3=9个平均像素来建立影像级)。–常采用的是高斯金字塔影像生成算法，构成金字塔的层数，应当根据影像的分辨率、影像可能的噪声、影像的大小及相关计算速度来确定。图像的多尺度空间表达尺度空间表示是一种基于区域而不是边缘的表达对于一个N维信号，它的尺度空间定义为:L(x:t)=K*f(x,t)其中t为尺度参数，K为尺度空间核。RRfN:RRRLN:图像的多尺度空间表达尺度空间表示通过平滑获得，可描述为空间，分别为位置参数和尺度参数。尺度参数可以是离散的，也可以是连续的。所有尺度上空间采样点个数是相同的(尺度空间表示法在各个尺度上图像的分辨率都是一样的)。应该具有尺度伸缩等不变性。),(x和x高斯尺度空间高斯函数作为卷积核生成的尺度空间是目前最完善的尺度空间之一，根据Koendrink和Lindeber的研究表明，在多种合理假设前提下，唯一可能的尺度空间核是Gaussian核。因此，一幅二维图像的尺度空间可表示为：),(),,(),,(yxIyxGyxL为尺度参数为像素点坐标，为原图像，其中，yxyxI,),(2222)(221),,(yxeyxG高斯尺度空间当采用不同尺度的平滑函数对同一图像进行滤波时，得到的一簇图像就是原始图像相对于该平滑函数的尺度空间，σ为尺度空间坐标。构建高斯尺度空间的主要思想是在精细尺度上的信息随着尺度参数值的增加而逐渐地被抑制，尺度从粗到细的变化过程中，不会产生新的结构。在高斯尺度空间下，只是对图像作了卷积，图像的分辨率和像素仍然没有改变，只是细节平滑了，而传统的影像金字塔关键在降采样，显然分辨率降底了。不同尺度因子下的图像高斯尺度空间通过高斯滤波得到的尺度空间表示了图像在不同尺度下的低频信号，而代表边缘以及角点等特征的高频信号丢失。可以在不同分辨率层上通过在不同的尺度上应用合适的函数来表示一个特征（如边缘和角点）。在高斯尺度空间，同一类型特征点和边缘在不同的尺度上具有因果性，即当尺度变化时，新的特征点可能出现，而老的特征点可能移位或消失。这种因果性带来的含糊性是固有的，不可避免的，不能企求消除，但可以减小。3.3.2尺度不变特征变换ScaleInvariantFeatureTransform（SIFT）1999年BritishColumbia大学的大卫.劳伊（DavidG.Lowe）教授总结了现有的基于不变量技术的特征检测方法，并正式提出了一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子－SIFT（尺度不变特征变换），这种算法在2004年被加以完善。DavidG.LoweComputerScienceDepartment2366MainMallUniversityofBritishColumbiaVancouver,B.C.,V6T1Z4,CanadaE-mail:[e-mail]简介将一幅图像映射（变换）为一个局部特征向量集；特征向量具有平移、缩放、旋转不变性，同时对光照变化、仿射及投影变换也有一定不变性。OriginalimagecourtesyofDavidLoweSIFT特点SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对于视角变化、仿射变换、噪声也保持一定程度的稳定性。独特性(Distinctiveness)好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配。多量性，即使少数的几个物体也可以产生大量SIFT特征向量。经过优化的SIFT算法可满足一定的速度需求。可扩展性，可以很方便的与其他形式的特征向量进行联合。SIFT算法可以解决的问题目标的自身状态、场景所处的环境和成像器材的成像特性等因素影响图像配准/目标识别跟踪的性能。SIFT算法在一定程度上可解决目标的旋转、缩放、平移（RST）图像仿射/投影变换（视点viewpoint）光照影响（illumination）目标遮挡（occlusion）杂物场景（clutter）噪声SIFT算法实现步骤简述SIFT实质可以归为在不同尺度空间上查找特征点（关键点）的问题。特征点检测特征点描述目标的特征点集特