基于特征点匹配的全景图像拼接技术研究_王俊秀

基于特征点匹配的全景图像拼接技术研究王俊秀，孔令德摘要：提出了一种基于特征点匹配的全景图像拼接算法，首先提取各图像中的SIFT特征，通过特征点匹配完成两幅图像的配准；再根据图像配准结果计算出图像间的变换矩阵；最后采用渐入渐出加权平均的融合方法对两幅图像进行无缝拼接。实验表明，该算法具有匹配精度高、鲁棒性强等特点，可以快速而自动地生成全景图像。关键词：全景图；图像拼接；特征匹配；图像融合中图分类号：TP39文献标识码：AResearchofPanoramaImageMosaicTechnologyBasedonFeaturePointMatchWANGJunxiu,KONGLingde(TaiyuanInstituteofTechnology,DepartmentofComputerEngineering,Taiyuan030008,China)Abstract:Inthispaper,anefficientpanoramicimagemosaicalgorithmbasedonSIFTisproposed.Firstly,SIFTfeaturepointsareextractedfromasequenceofimagescapturedbyordinarycamera.Then,imagesareregisteredbymatchingSIFTfeaturepoints.Andthenthetransformmatrixcanbecalculatedbyregistrationresults.Finally,theweightedaveragemethodisusedtoachieveimagemosaic.Experimentsindicatethattheproposedalgorithmhashighmatchingaccuracy,robustness,andothercharacteristics,canshowthecylindricalpanoramicimageautomaticallyandeffectively.Keywords:panoramicimage;imagemosaic;featurematching;imageblending文章编号：1008-0775(2014)-11-10-041引言(Instroduction)随着计算机技术水平的不断提高，全景图和超宽视角的图像在现实生活中有着广泛的应用。通常情况下,全景图像所需要展现的景物往往不能在单幅图像的视野中完全被描绘出来,因此，形成一幅完整的全景图像需要把多幅图像拼接到一起。这些待拼接图像，相邻的图像边界之间必须要有重叠的部分,全景图像拼接的主要任务就是找出重叠区域,确定它们之间的相互关系,然后将相同区域进行融合,从而得到一幅全景图像[1]。全景图像拼接的大体过程如图1所示。Fig.1Processofpanoramicimagemosaic图像拼接当中的关键技术是图像配准阶段和图像融合两个阶段。本文研究了基于SIFT特征点匹配的柱面全景图像拼接算法：首先，提取待拼接图像的SIFT特征点；然后，通过特征点的相似度准则进行配准，并得到图像间的变换矩阵；最后根据变换矩阵采用渐入渐出加权平均的融合方法进行图像的无缝拼接得到全景图像。2基于特征点的图像配准(Imageregistrationbasedonfeaturepoint)基于特征的图像配准是图像配准中最常见的一种方法。图像的特征点对于图像的像素点来说要少很多,从而可以大幅度减少匹配过程中的计算量,而且特征点的匹配度量值对位置变化敏感,这样提高了图像匹配的精度；而且特征提取过程可以在某种程度上消除噪声影响,另外对灰度变化、图形形变以及遮挡等的鲁棒性较好。基于特征点的图像配准方法，主要有四个步骤包括：特征点提取、特征点匹配、求解变换矩阵以及图像变换[2]。本文特征点提取采用SIFT特征提取算法。SIFT，即尺度不变特征转换(Scale-invariantfeaturetransform，SIFT)[3]，是用于图像处理领域的一种描述子。近年来，SIFT特征已成为国内外研究热点和难点，它广泛地应用在很多领域，如图像配准、目标识别、视频检索、全景图拼接等。SIFT特征不只具有尺度不变性，即使改变旋转角度，图像亮度或拍摄视角，仍然能够得到好的检测效果，并且对于噪声，仿射变换等具有良好的鲁棒性。2.1SIFT特征提取SIFT特征描述符的生成具体可以细化为四个步骤：尺度空间的构建；空间极值检测；确定关键点的方向；生成特征点描述子[4]。下面将详细介绍SIFT特征提取的流程。(1)尺度空间的构建尺度空间理论目的是模拟图像信息的多尺度特征。在多尺度空间检测特征点，主要是用高斯卷积核对初始图像进行尺度变换，得到图像的尺度空间表示序列，再提取这些序列的特征。为了在尺度空间有效地检测到稳定的关键点，引入金字软件工程师SOFTWAREENGINEER第17卷第11期2014年11月Vol.17No.11Nov.2014塔结构。图像金字塔的构建：图像金字塔共O组，每组有S层，下一组的图像由上一组图像降采样得到。将图像金字塔与尺度空间结合起来,将输入图像通过不同尺度的高斯核函数连续平滑和下采生成高斯差分图像,即DoG图像。(2)空间极值点检测生成尺度空间后，接下来就要选取特征点。本文通过在尺度空间中取局部极大或极小值的像素点来作为图像在该尺度上的特征点，这些特征点对于尺度缩放和旋转变化具有不变性。(3)确定特征点的方向对于一个特征点，以它为中心，对它的邻域像素进行采样，计算梯度方向，用直方图进行统计，得到关键点邻域像素的整体梯度分布，根据梯度分布特性，为每个特征点指定方向参数，使整个算子具有旋转不变性。(4)构建SIFT特征向量根据提取出来的图像特征点，需要构建相应的区域描述算子(localdescriptor)。SIFT算子是一个在基于特征点特征区域的描述算子，它是由主方向和高维的特征向量组成的。特征点描述子生成步骤如下：首先确定周围信息，包括以特征点为中心上下左右半径为4的正方形区域。这样对每个特征点构建一个8×8的共计64面积的正方形。再将此8×8区域分成4个面积为16的小区域，对于每个小区域分别计算梯度直方图。对每个小区域中的所有的16个像素的梯度按照8个方向累加，这样就计算出了一个8维的直方图，而以特征点为中心的特征区域就可以计算出一个8×4=32维的直方图。此直方图经过正态处理之后便可作为特征向量使用。这样，对于每个特征点可以抽取一个32维的特征向量。为进一步去除光照对比度变化的影响，可将特征向量的长度归一化。至此，对每一个特征点，计算出其SIFT算子。然而，在实验中，也可灵活的改进SIFT算子，以提高特征算子计算的精度或者实时性。SIFT在基于特征提取的匹配上，表现非常的优异，此外，SIFT特征提取还对一些图像变化，如材质(texture)、旋转(rotation)等变化，有很强的稳定性。本算法从输入图像中提取得到基于仿射不变的SIFT特征，用于后期的匹配。2.2特征点匹配算法在提取了对应的特征向量之后，每幅图像就可以用特征点的坐标和对应特征向量来表示，而图像本身在后续的匹配中已经没有什么用处。所以实际输入匹配算法的是特正点的坐标和特征向量。一种最简单的匹配方法是找到最相近的匹配向量对。本文以两个特征向量的欧氏距离作为特征点匹配的相似度准则。本文采取了基于树结构的匹配算法，简单的说是K-dtree的匹配方法。K-dtree是一种分割k维数据空间的数据结构，每个结点表示k维空间的一个点。每一层都根据该层的分辨器对相应对象做出分枝决策，顶层结点按由分辨器决定的一个维度进行划分，第二层则按照该层的分辨器决定的一个维进行划分，以此类推在余下各维之间不断地划分。直至一个结点中的点数少于给定的最大点数时，结束划分。初步特征匹配主要原理如下：首先，采用优先搜索查找算法找出K-dtree结构中的每个特征点的两个最近邻特征点，如找出特征点的欧氏距离最近邻居特征点和次近的邻居特征点，然后计算与以及与两组特征向量之间欧氏距离的比值r，如果比值r小于规定阈值T，则匹配成功，点对为图像对中的一对匹配点，否则匹配失败。使用上述K-dtree的方法可以快速的剔除那些特征向量差距很大的特征点对,这样可以初步去除一些不可能的误匹配。但在利用K-dtree进行简单的匹配之后，仍然不能利用简单的特征向量的差值来确定正确的匹配。为此，本文采用了RANSAC完成进一步匹配工作。2.3RANSAC算法本文利用的全局约束条件是立体视觉的变换矩阵，实现这个约束条件的是RANSAC(RandomSampleConsensus)算法[5]。RANSAC即随即抽样一致性方法是由Fischler和Bolles提出的，是计算机视觉领域中最有效的鲁棒参数估计算法之一，它对错误率超过50%的一组数据仍然有很好的一致性分析结果。本文根据上一小节中初步特征匹配的结果，筛选其中的少数匹配点对进行模型估计，并通过不断的迭代寻找得到图像的精确匹配变换矩阵。首先选取最少量的数据对几何变化模型进行估算，可以估算出一个基本矩阵(fundamentalmatrix)。然后，用这个基本矩阵去验证所有的数据(简单匹配估算数据)，如果匹配对和基本矩阵H之间的关系小于一个阙值T，说明是一个符合模型的数据，记录所有的符合模型数据。使用RANSAC匹配算法，详细步骤如下：然后重复以下步骤:(1)在原始简单匹配集中随机选取少量匹配对，数据量对于计算模型参数是充分的，用这些少量的匹配对对假设模型进行参数估计。(2)用所有的原始简单匹配集中的数据来检测上一步中估算出来的模型参数，计算符合上一步中估算的模型的数据比基金项目：2014年院级青年科学基金项目(2014LQ03).第17卷第11期11王俊秀等：基于特征点匹配的全景图像拼接技术研究基于特征点匹配的全景图像拼接技术研究王俊秀，孔令德摘要：提出了一种基于特征点匹配的全景图像拼接算法，首先提取各图像中的SIFT特征，通过特征点匹配完成两幅图像的配准；再根据图像配准结果计算出图像间的变换矩阵；最后采用渐入渐出加权平均的融合方法对两幅图像进行无缝拼接。实验表明，该算法具有匹配精度高、鲁棒性强等特点，可以快速而自动地生成全景图像。关键词：全景图；图像拼接；特征匹配；图像融合中图分类号：TP39文献标识码：AResearchofPanoramaImageMosaicTechnologyBasedonFeaturePointMatchWANGJunxiu,KONGLingde(TaiyuanInstituteofTechnology,DepartmentofComputerEngineering,Taiyuan030008,China)Abstract:Inthispaper,anefficientpanoramicimagemosaicalgorithmbasedonSIFTisproposed.Firstly,SIFTfeaturepointsareextractedfromasequenceofimagescapturedbyordinarycamera.Then,imagesareregisteredbymatchingSIFTfeaturepoints.Andthenthetransformmatrixcanbecalculatedbyregistrationresults.Finally,theweightedaveragemethodisusedtoachieveimagemosaic.Experimentsindicatethattheproposedalgorithmhashighmatchingaccuracy,robustness,andothercharacteristics,canshowthecylindricalpanoramicimageautomaticallyandeffectively.Keywords:p