密码学基础实验指导书

基于特征点的图像匹配方法研究目录1.图像匹配介绍2.图像匹配分类3.图像匹配的一般步骤4.图像匹配的主要方法5.部分匹配方法的实验结果1.图像匹配介绍----图像匹配的定义图像匹配：图像匹配是指通过一定的匹配算法在两幅或多幅图像之间识别同名点，如二维图像匹配中通过比较目标区和搜索区中相同大小的窗口的相关系数，取搜索区中相关系数最大所对应的窗口中心点作为同名点。其实质是在基元相似性的条件下，运用匹配准则的最佳搜索问题。图像匹配主要可分为以灰度为基础的匹配和以特征为基础的匹配。图像匹配是处理多源图像信息融合、目标识别等实际问题中的一个重要步骤。图像匹配广泛应用于军事、医学、航空等多个重要科研领域。经过图像匹配后配准，可以获得质量更高、清晰度更好、定位更准确的目标信息。1.图像匹配介绍----图像匹配的意义1.图像匹配介绍----图像匹配的应用领域计算机视觉领域--视频监控----对跟踪的目标区域进行匹配跟踪1.图像匹配介绍----图像匹配的应用领域遥感领域--信息融合、环境监视、图像拼接、天气预报以及地图更新等1.图像匹配介绍----图像配准的应用领域军事领域--变化检测、运动目标指示、视点稳定、大视场重构、多通道融合、地形定位和导航1.图像匹配介绍----图像配准的应用领域医学领域--CT,MRT----图像匹配后进行融合可以得到更多的信息2.图像匹配的分类图像匹配的分类基于灰度信息的图像匹配基于特征信息的图像匹配2.图像匹配方法的分类2.1基于灰度的图像匹配算法基于灰度的图像匹配算法是直接利用匹配图像的灰度值，选择某种相似性度量函数，然后再通过图像像素计算此度量值，最终根据计算结果进行全局优化后实现匹配。灰度匹配通过利用某种相似性度量度量函数可以是MMSE(最小均方误差)、互相关值、SSDA等。此类方法无需对图像进行分割和特征提取，自然避免了由这些预处理可能造成的图像信息丢失而引起的匹配精度降低。这类方法主要的特点是在收敛速度、统计模型、匹配精度及最终的估计误差方面均出现了较为成熟的研究成果，并且原理简单容易理解。2.1基于灰度的图像匹配算法缺点：匹配速度比较慢；对图像灰度值依赖性大；光照变化及噪声等方面敏感度高。结论：正是由于此类方法没有充分利用到灰度统计特性，因此不适应匹配对象存在旋转和缩放的情况下图像的匹配问题，而且算法匹配计算量较大，效率偏低。2.图像匹配方法的分类2.2基于特征的图像匹配算法基于特征的图像匹配算法通常不直接依赖像素灰度值，而是会经过较为复杂的图像处理过程提取特征后再进行匹配。特征匹配是指通过分别提取两个或多个图像的特征（点、线、面等特征），对特征进行参数描述，然后运用所描述的参数来进行匹配的一种算法。其一般做法是利用两幅图像中对灰度变化、缩放、旋转等均具有不变性的特征，用相似性度量函数对其进行度量，从而得到相关值进而完成图像匹配。2.2基于特征的图像匹配算法优点：能够充分结合图像灰度等相关特性，同时还可以有效去除因光照背景等条件不同时带来的误匹配问题。算法在图像发生缩放变换和旋转变换等现象时敏感度低，适应性强，而对轻微扭曲或有一定噪声的图像较前者也有较好的匹配度。2.2基于特征的图像匹配算法缺点：算法涉及到大量的几何和形态学方面的计算，使得计算量比较大，最终的计算时间太长而难以达到实时应用的要求；由于此类算法通常需要针对不同的场合选择合适的特征，所以并无统一模型可遵循。3.匹配算法的一般步骤特征提取特征匹配估计变换模型图像重采样及变换目标图像匹配图像特征点检测与提取目标点集匹配点集特征点的描述特征点的匹配和对准3.匹配算法的一般步骤—特征提取特征提取是指分别提取两幅图像中共有的图像特征。这种特征是出现在两幅图像中对比例、旋转、平移等变换保持一致性的特征，如线交叉点、物体边缘角点、虚圆闭区域的中心等可提取的特征。特征包括：点、线和面三类。点特征是最常采用的一种图像特征，包括物体边缘点、角点、线交叉点等；根据各特征点的兴趣值将特征点分成几个等级。对不同的目的，特征点的提取应有所不同。线特征是图像中明显的线段特征，如道路河流的边缘，目标的轮廓线等。线特征的提取一般分两步进行：首先采用某种算法提取出图像中明显的线段信息，然后利用限制条件筛选出满足条件的线段作为线特征；面特征是指利用图像中明显的区域信息作为特征。在实际的应用中最后可能也是利用区域的重心或圆的圆心点等作为特征。3.匹配算法的一般步骤—特征提取特征点3.匹配算法的一般步骤—特征提取直线3.匹配算法的一般步骤—特征提取区域3.1特征提取点特征提取方法--Harris(HarrisCornerDetector)算法受信号处理中相关函数的启发，给出与自相关函数相联系的矩阵M，M矩阵的特征值是自相关函数的一阶曲率，如果两个曲率值都高，那么就认为该点是角点，此方法对图像旋转、亮度变化、视角变化和噪声的影响具有很好的鲁棒性。3.1特征提取点特征提取方法--Susan(SusanCornerDetector)算法SUSAN算法使用一个圆形的模板在图像上滑动，将位于圆形模板中心的待检测的像素点称为核心点。假设图像为非纹理,核心点的邻域被划分为两个区域:其一为亮度值等于(或相似于)核心点亮度的区域,称为核值相似区(USAN),其二为亮度值不相似于核心点亮度的区域。3.1特征提取点特征提取方法--Harris-LaplaceHarris算子能最稳定地在图像旋转、光照变化、透视变换条件下提取二维平面特征点，但在三维尺度空间中，Harris探测子的重复探测性能不好，不同尺度Harris特征点存在位置误差，Harris探测子不具有尺度和仿射不变性。而三维尺度空间中最稳定高效的特征尺度探测算子是归一化的Laplace算子。3.1特征提取点特征提取方法--Harris-LaplaceK.Mikolajczyk和C.Schmid结合了Harris和Laplace算子的优点，提出了Harris-Laplace算子。Harris-Laplace特征点具有尺度和旋转不变的特性，且对光照变换和小范围视角变化具有稳定性。3.1特征提取点特征提取方法--SIFT特征点提取使用DifferenceofGaussian(DoG)filter来建立尺度空间。在尺度空间上提取极值点。3.1特征提取点特征提取方法--SURF特征点提取基于Hessian矩阵，它依靠Hessian矩阵行列式的局部最大值定位兴趣点位置。对于图像I中的某点X在尺度空间上的Hessian矩阵定义为:),(),(),(),(),(XLXLXLXLXHyyxyxyxx其中，表示高斯二阶偏导在X处与图像I的卷积。、具有相似的含义。),(XLxx),(XLxy),(XLyy3.1特征提取点特征提取方法--FAST特征点提取FAST(FeaturesfromAcceleratedSegmentTest)是对SUSAN角点提取算法的简化，通过比较一个圆上16个像素点与中心像素点的灰度对比情况来判断中心像素点是否为特征点。3.1特征提取点特征提取方法--Harris-Affine--Hessian-Laplace--Hessian-Affine--Moravec算子--Forstner算子…3.1特征提取线特征提取方法--Robert--Sobel--Prewitt--Kirsch--Gauss-Laplace--Canny…3.1特征提取面特征提取方法--Mser使用不同的阈值对图像进行二值化，这个过程中，所有阈值图像上形成的连接区域都是极小值区域，在阈值图像的变化过程中，形成了一系列嵌套的极值区域组。在每组嵌套区域里，有一类性质较为稳定的区域，这类区域在较大阈值范围内具有较小的变化，被定义为“最稳定极值区域”。3.2特征匹配(2)利用相似度准则进行特征匹配常用的相似性测度准则:欧氏距离,马氏距离,Hausdorff距离等。特征匹配特征匹配分两步：(1)对特征作描述现有的主要特征描述子：SIFT特征描述子,SURF特征描述子，对比度直方图(CCH)，DAISY特征描述子，矩方法3.2特征匹配特征描述--SIFT特征描述子主要思想：一种基于图像梯度分布的特征描述子。特点：抗干扰性好。但维数高，计算复杂度大。3.2特征匹配特征描述--SURF特征描述子主要思想：将特征点的周围区域分成几个子区域，用每个子区域内像素点的X,Y方向的偏导和及其绝对值的和组成特征点的描述子。特点：有较好的抗亮度变化能力。但是该描述子要求使用积分图像，限定了其应用范围。3.2特征匹配特征描述--对比度直方图主要思想：将特征点周围区域的像素点与特征点的对比度形成直方图来描述该特征点。特点：该方法比基于梯度的描述子要快。但描述力比基于梯度的要略微弱一点。3.2特征匹配特征描述--DAISY特征描述子主要思想：受SIFT算法和GLOH算法的启发，将梯度加权和用几个高斯方向偏导滤波器与原图像进行积分代替。特点：该描述子有和SIFT特征算子相似的优点，但是速度比SIFT特征算子要快。3.3估计变换模型空间变换模型是所有配准技术中需要考虑的一个重要因素，各种配准技术都要建立自己的变换模型，变换空间的选取与图像的变形特性有关。常用的空间变换模型有：刚体变换、仿射变换、投影变换、非线性变换。3.3估计变换模型3.3.1刚体变换模型刚体变换是平移、旋转与缩放的组合，适用于具有相同视角，但拍摄位置不同的来自同一传感器的两幅图像的配准。刚体变换模型下，若点，分别为参考图像和待配准图像中对应的两点，则它们之间满足以下关系：yxttyxyx1122.cossinsin-cos),(11yx),(22yx3.3估计变换模型3.3.2仿射变换模型如果第一幅图像中的一条直线经过变换后，映射到第二幅图像上仍然为直线，且平行直线仍旧被映射为平行直线，这样的变换称为仿射变换。该变换保持直线间的平行关系，但由于引入了缩放参数，故它不能保持直线段的长度和角度，若点，分别为参考图像和待配准图像中对应的两点，则它们之间满足以下关系：),(11yx),(22yxyxttyxaaaayx111110010022.3.3估计变换模型3.3.3投影变换模型如果第一幅图像中的一条直线经过变换后，映射到第二幅图像上依然为直线，但平行关系不再保持，则称这样的变换称为投影变换。投影变换具有8个参数，可以将成像设备的运动（如平移、旋转、缩放等）描述得更为全面。若点，分别为参考图像和待配准图像中对应的两点，则它们之间满足以下关系：),(11yx),(22yx1.11117654321022yxmmmmmmmmyx3.3估计变换模型3.3.4非线性变换模型若第一幅图像中的一条直线经变换后，映射至第二幅图像上不再是直线，我们把这样的变换称为非线性变换。在二维空间中，点经非线性变换至点变换公式为：F表示把第一幅图像映射到第二幅图像上的任意一种函数形式。典型的非线性变换如多项式变换，在2D空间中，多项式函数可写成如下形式：),(11yx),(22yx),(),(1122yxFyx......210211112120101110002yayxaxayaxaax......210211112120101110002ybyxbxbybxbby3.4图像重采样及变换在得到两幅图像间的变换参数后，要将输入图像做相应参数的变换，使之与参考图像处于同一坐标系下，则校正后的输入图像与参考图像可用作后续的图像融合、目标变化检测处理或图像镶嵌；涉及输入图像变换后所得点坐标不一定为整像素数，则应进行插值处理。常用的插值算法有最近邻域法、双线性插值法和立方卷积插值法。关键点的匹配可以采用穷举法来完成，但是这样耗费的时间太多，一