中南大学生物医学工程研究所 图像配准

图像配准中南大学生物医学工程研究所22019-8-16中南大学生物医学工程研究所图像配准图像配准的用途意义图像配准（或图像匹配）是评价两幅或多幅图像的相似性以确定同名点的过程。图像配准算法就是设法建立两幅图像之间的对应关系,确定相应几何变换参数,对两幅图像中的一幅进行几何变换的方法。图像配准是图像分析和处理的基本问题。它在航空影像自动制图、图像三维重构、计算机视觉、遥感融合、模式识别、医学图像处理、影像分析等领域都有重要应用。32019-8-16中南大学生物医学工程研究所图像配准图像配准参考图像（主图像）待配准图像（辅图像）配准图像42019-8-16中南大学生物医学工程研究所图像配准用词说明各种图像配准的文献都会出现“配准、匹配、几何校正”三个词，它们的含义比较相似。一般两幅图像之间用“配准（register,registration）”；寻找同名特征(点)的过程叫“匹配（match,matching）”;根据主辅图像之间的几何变换关系，对辅图像进行逐像素处理变为配准图像的过程叫做“几何校正（geometriccorrection）”。52019-8-16中南大学生物医学工程研究所图像配准配准方法分类按照配准算法所利用的图像信息，可以分为基于区域的方法和基于特征的方法。基于区域的匹配主要是模板匹配和基于相位（频率）的匹配方法；基于特征的匹配包括基于特征点集的匹配和基于线特征（图像中边缘信息）的匹配算法。按自动化程度可以分为人工、半自动和全自动三种类型。62019-8-16中南大学生物医学工程研究所图像配准模板匹配模板匹配法是在一幅影像中选取一个的影像窗口作模板，大小通常为5×5或7×7，然后通过相关函数的计算来找到它在搜索图中的坐标位置。设模板T放在搜索图S上平移，模板覆盖下的那块搜索图叫做子图Si,j，子图的中心点在S图中的坐标(i,j)，叫参考点。72019-8-16中南大学生物医学工程研究所图像配准相似性测度用以下测度来衡量T和Si,j的相似程度：根据施瓦兹不等式，，并且在比值为常数时取极大值为1。但实际上两幅不同图像的P值介于0和1之间，很难达到理想值。根据经验取某个阈值P0，如果PP0，则匹配成功；PP0，则匹配失败。MmMnMmMnjiMmMnjinmTnmSnmTnmSP112112,11,)],([)],([),(),(10P),(),(,nmTnmSji82019-8-16中南大学生物医学工程研究所图像配准金字塔模板匹配为了加快搜索速度，很多影像匹配方法使用金字塔影像。对影像进行一次采样率为1/n(n=2,3)的重采样，即把影像的每n×n个像素变为一个像素，这样就得到一对长、宽都为原来1/n的影像，把它作为金字塔的第二层。再对第二层用同样方法进行一次采样率为1/n的重采样，又得到第三层（顶层）。原始影像作为金字塔影像的底层。92019-8-16中南大学生物医学工程研究所图像配准金字塔影像匹配的步骤第一步：顶层的匹配，得到一个平移初始值。第二步：根据平移初始值乘以n得到第二层平移量初始值，在它m×m个像元的邻域内进行模板匹配。第三步：根据第二层匹配值乘以n得到第三层平移量初始值，再进行一次模板匹配。如果影像尺寸不是特别大，可以只用两层金字塔。102019-8-16中南大学生物医学工程研究所图像配准基于特征的配准算法基于特征的算法(feature-basedmatching)先提取图像显著特征，再进行特征匹配，大大压缩了图像信息的数据量，同时保持了图像的位移、旋转、比例方面的特征，故在配准时计算量小，速度较快、鲁棒性好。当两幅图像之间的线性位置关系不明确时，应使用基于特征的匹配。一般来说特征匹配算法可分为四步:1.特征提取;2.特征描述;3.特征匹配；4.非特征像素之间的匹配。112019-8-16中南大学生物医学工程研究所图像配准基于特征的配准步骤在特征匹配前，首先要从两幅图像中提取灰度变化明显的点、线等特征形成特征集。在两幅图像对应的特征集中利用特征匹配算法尽可能的将存在匹配关系的特征对选择出来。通过特征建立两幅图像之间的多项式变换关系，达到以点代面的效果。对于非特征像素点，利用上述多项式变换关系来进行几何校正，从而实现两幅图像之间逐像素的配准。122019-8-16中南大学生物医学工程研究所图像配准人工匹配步骤1.人工选取控制点2.多项式匹配132019-8-16中南大学生物医学工程研究所图像配准用遥感软件进行几何校正遥感软件的几何校正功能是利用地面控制点(GroundControlPoint,GCP)进行的几何校正，它通常用多项式来近似描述遥感图像的几何畸变过程，并利用控制点求得这个几何畸变模型，然后利用此模型进行几何校正，这种校正不考虑畸变的具体原因，而只考虑如何利用畸变模型来校正图像。142019-8-16中南大学生物医学工程研究所图像配准校正步骤几何精校正一般可分为以下四个步骤：1.建立原始图像与校正后图像的坐标系。2.确定控制点对。3.选择畸变数学模型，比如一次、二次、三次多项式。4.几何校正的精度分析。152019-8-16中南大学生物医学工程研究所图像配准162019-8-16中南大学生物医学工程研究所图像配准半自动匹配1.用户先把主辅图像进行预处理，先进行重采样、旋转、去除噪声等，使两幅影像的分辨率、角度等基本一致后，再进行配准。2.用户先指定三个控制点，程序根据三个控制点算出主辅图像旋转、平移和尺度差异，再用金字塔模板匹配方法进行配准。172019-8-16中南大学生物医学工程研究所图像配准全自动匹配不需要用户事先提供任何信息，单纯依据两幅图像自身的信息进行匹配计算。由于主辅图像之间存在旋转、平移和尺度差异，如何找到初始定位信息是其难点。方法多种多样。包括直方图匹配、Hu不变矩、金字塔模板匹配、小波Gabor算子、基于空间变换的方法等。将在后面特征点匹配部分讲述。182019-8-16中南大学生物医学工程研究所图像配准基于TIN的图像配准算法流程提取主辅图像特征点特征点匹配特征点构三角网建立仿射变换关系辅图像小面元校正192019-8-16中南大学生物医学工程研究所图像配准特征类型灰度特征点。Moravec算子、Forstner算子与Hannah算子。角点。SUSAN算子,Harris算子，王算子，沈俊算子。边缘特征（线型）。Canny算子,Marr算子。纹理特征。灰度共生矩阵，小波Gabor算子。202019-8-16中南大学生物医学工程研究所图像配准Moravec算子Moravec算子是利用灰度方差提取特征点的算子，它在四个主要方向上，选择具有最大-最小灰度方差的点作为特征点。其步骤为：1计算各像元的兴趣值（InterestValue）。在以像素为中心w×w的影像窗口中（如5×5的窗口），计算图中所示四个方向相邻像素灰度差的平方和：212019-8-16中南大学生物医学工程研究所图像配准Moravec算子12,1,)(1kkicircirggV121,1,)(2kkiiciricirggV121,,)(3kkiicricrggV121,1,)(4kkiiciricirggV取其中最小者作为该像素的兴趣值：V=min{V1，V2，V3，V4})2/(wINTk其中222019-8-16中南大学生物医学工程研究所图像配准给定一经验阈值，将兴趣值大于该阈值的点（即窗口的中心点）作为候选点。阈值的选择应以候选点中包括所需要的主要特征点而又不含过多的非特征点为原则。取候选点中的极值点作为特征点。在一定大小的窗口内,将候选点中兴趣值不是最大者均去掉，仅留下一个兴趣值最大者，该像素即为一个特征点。如果两个特征点之间的距离过短，则去掉其中一个。否则，在影像校正时，三角形边长过短将使解算出来的仿射变换参数出现错误。232019-8-16中南大学生物医学工程研究所图像配准角点提取-SUSAN算子SUSAN算法是由英国牛津大学的S.M.Smith,J.M.Brady首先提出的,它主要是用来计算图像中的角点特征的。SUSAN算法的特点:1.对角点的检测比对边缘检测的效果要好,适用于基于角点匹配的图像配准;2.无需梯度运算,保证了算法的效率;3.具有积分特性(在一个模板内计算SUSAN面积),这样就使得SUSAN算法在抗噪和计算速度方面有较大的改进。242019-8-16中南大学生物医学工程研究所图像配准SUSAN算法用一个一定半径的圆模板放置在图像上（如图）。如果模板上存在一区域，使该区域上对应图像的每一像素处的灰度值与圆心的灰度值相同（或相近），那么就定义该区域为核值相似区，即USAN，其中像素的个数定义为这个模板的面积。252019-8-16中南大学生物医学工程研究所图像配准262019-8-16中南大学生物医学工程研究所图像配准SUSAN算法的基本原理图像上每一点都有一个邻近的具有相似灰度值的局部区域是SUSAN算法的基础。这个局部区域或USAN包含了许多关于图像结构的信息。SUSAN算法的基本原理是：在每个像素移动一个小的圆形模板以检测局部信息，并利用预先设定的亮度阈值比较模板核及其周围像素的亮度值，亮度值相同或相近的为一个USAN，最后通过面积最小的USAN检测角点。272019-8-16中南大学生物医学工程研究所图像配准边缘特征提取“基于TIN的多源影像几何配准”没有使用边缘提取算子，所以这里不介绍其算法。（a）原图（b）Marr算子结果（c）Canny算子结果282019-8-16中南大学生物医学工程研究所图像配准纹理特征纹理是用来识别目标的重要方法，它是图像中一个很重要而又难以描述的特性，至今还没有公认的定义。有些图像在局部区域内呈现不规则性，而在整体上表现出某种规律性。习惯上把这种局部不规则而宏观有规律的特性称之为纹理。以纹理特性为主导的图像，常称为纹理图像，如木材纹理、皮肤纹理、织物纹理等。通过对物体纹理特征的提取，可以对图像进行分类、配准等操作。292019-8-16中南大学生物医学工程研究所图像配准局部不规律，整体具有一定规律性的特性。基本单元的重复性粗糙性方向性302019-8-16中南大学生物医学工程研究所图像配准提取纹理特征的方法灰度共生矩阵。基于小波的Gabor算子。312019-8-16中南大学生物医学工程研究所图像配准直方图匹配322019-8-16中南大学生物医学工程研究所图像配准Hu不变矩1962年Hute提出Hu不变矩，它对于匹配影像之间的平移、旋转和大小尺度变化具有自适应性，但它只适用于相似变换，不适于仿射变换。Hu最初用以下7个不变矩公式来描述目标特征:022012112022024)(20321212303)3()3(20321212304)()(])()(3[))(3(])(3))[()(3(2032121230032103212032121230123012305332019-8-16中南大学生物医学工程研究所图像配准])()(3[))(3(])(3))[()(3(2032121230032112302032121230123003217))((4])())[((0321123011203212123002206但实际上大部分文献都采用6个无量纲、消误差的组合不变矩：2121I3132I3143I6154I4165I6176I342019-8-16中南大学生物医学工程研究所图像配准点模式匹配模式识别中的点模式匹配，使用特征点集中点与点之间的位置关系进行匹