图像特征提取与匹配方法end

图像特征提取方法陈方2013.05.11•-Imagealignment(e.g.,mosaics)-3Dreconstruction-Motiontracking-Objectrecognition-Indexinganddatabaseretrieval-Robotnavigation应用领域应用领域++…+=今天的主要内容•Harris角点检测•DOG角点检测•SUSAN角点检测•HOUGH•空间灰度共生矩阵•LBP•HOG•Haar•ORB5Harris角点检测“flat”“edge”“corner”2,(,)(,)(,)(,)xyEuvwxyIxuyvIxyorWindowfunctionw(x,y)=Gaussian1inwindow,0outside6Harris角点检测(,),uEuvuvMv22,(,)xxyxyxyyIIIMwxyIII特征之分析1,2directionoftheslowestchangedirectionofthefastestchange(max)-1/2(min)-1/27Harris角点检测12“Corner”1and2arelarge,1~2;Eincreasesinalldirections1and2aresmall;Eisalmostconstantinalldirections“Edge”12“Edge”21“Flat”regionHarris角点检测2dettraceRMkM1212dettraceMMk=0.04-0.06•R比较大大：corner•R比较大的负值：edge•|R|比较小：flatDOG(DifferenceofGaussian)角点检测•多尺度空间•高斯金字塔22221()(),,exp22iiiixxyyGxy,,,,*,LxyGxyIxyOctave1Octave2Octave3Octave4Octave5248……………1212(,,,)inkkk12Ski——金字塔组数n,S——每组的总层数DOG(DifferenceofGaussian)角点检测•DOGDOG(DifferenceofGaussian)角点检测SUSAN角点检测•用一个圆形模板遍历图像t相似度阈值，所能检测角点的最小对比度，能忽略的噪声的最大容限0000001|(,)(,t(,,,)0|(,)(,)|fxyfxycompxyxyfxyfxyt）|SUSAN角点检测•模板中与中心点像素相似点的像素组成吸收核值相似区(USAN区）-去除伪角点-非最大值抑制000000(,)(,)(,)(,;,)xyxynxycompxyxy00000000(,)(,)(,)0(,)njnxynxyjRxynxyjj是角点阈值，越小，检测到的角点越尖锐HOUGH直线检测•利用点与线的对偶性，把检测任意形状的问题转化为统计峰值问题p*cos()*sin(),(0,180)oxayaaymxccxmyHOUGH圆检测•圆的Hough变换是一个以圆的半径和圆心坐标为参数的三维空间222()()xaybr•检测平面上的圆的问题就转换到检测参数空间上三维锥面的交点灰度共生矩阵•一种灰度空间的相关性，对图像上保持某距离的两象素分别具有某灰度的状况进行统计得到的LBP(LocalBinaryPattern)•提取局部纹理特征划分子区域，计算区域内的每个像素点LBP值对每个子块进行直方图统计，得到子块的直方图利用所有子块的直方图，描述该图像的纹理特征1,01:0LBP(,)()2,()0:0PpPRccpcpxxysggsxx图b圆形LBP算子图a矩形LBP算子LBP(LocalBinaryPattern)•LBP旋转不变模式按照顺时针方向旋转，对点提取的二进制特征的最小值是不变的01111100-00011111DLBP•解决LBP的缺点:区分中心像素大于还是相等邻域像素•n改善像素点值轻微变化对LBP的影响,,,(){(),()}PRPRPRDLBPxLBPxLBPx1,01,010()()2,()0010()()2,()00PPPRPxPPPPRPxPuLBPxsggnsuuuLBPxsggnsuuDLBPHOG(histogramoforientedgradient)一副图像中，局部目标的表象和形状能够被梯度或边缘的方向密度分布很好地描述灰度化采用Gamma校正法进行颜色空间的归一化计算每个像素的梯度（包括大小和方向）将图像划分成小cells统计每个cell的梯度直方图（不同梯度的个数)把细胞单元组合成大的块（block），块内归一化梯度直方图将检测窗口中所有重叠的块进行HOG特征的收集HOG•公式：•特征维数（9个方向）对于64*128的图像而言，每8*4的像素组成一个cell，每2*2个cell组成一个块，移动步长是一个cell(,)(,)gammaIxyIxy(,)(1,)(1,)xGxyHxyHxy(,)(,1)(,1)yGxyHxyHxy1(,)(,)tan(,)yxGxyxyGxy22(,)(,)(,)xyGxyGxyGxy64161288(1)*()*(2*2*9)84Haar-like特征•Haar特征分为三类：边缘特征、线性特征、对角线特征和中心特征•特征数值计算公式v=Sum-Sum白黑v=Sum-2*Sum白黑Haar-like特征•积分图RSAT(N,M)•构造积分图像-每个点存储是其左上方所有像素之和-初始条件,RSAT(,)axbyIab（x,y)=(1,)(,1)(1,1)0RSATyRSATxRSAT(,)(,1)(1,)(,)(1,1)RSATxyRSATxyRSATxyIxyRSATxyHaar-like特征•构造旋转积分图像-每个点存储是其左上方延伸出的45度区域内像素之和(,)(1,1)(1,1)(,2)(,)(,1)RSATxyRSATxyRSATxyRSATxyIxyIxy,||(,),bybyxaRSATxyIab(1,)(,1)(,2)0RSATyRSATxRSATx(1,1)(1,2)0RSATRSATFASTkeypointerdetector•-FAST-R-设定阈值提取关键点,Harris角点检测取前N个-角点质心(,)ijijxyMxyIxy10010000,xyMMccMMarctanyxccBrief(BinaryIndependentElementaryFeatures)•思想：用二进制串作为特征描述子-平滑处理(9*9)-选取随机点对-生成一串二进制1()()(;,)0pxpypxyotherwise21(,)~...(0,25XYiidGaussianS）11()2(:,)ddiniiinfppxy128,256,512dnORB(OrientedBrief)•FAST+Brief-构造金字塔，提取FAST特征-在FAST特征点的31*31邻域内随机选取5*5的像素块对-贪心算法寻找相关性较低的随机像素块对•特征匹配(汉明距离)-最大汉明距离，选取阈值10122552012255K=,xxxxKyyyy255120(,)iiiDKKxyＴｈａｎｋｙｏｕ