图像配准

图像配准的方法2012.8.6主要内容图像配准方法的两大类别图像配准的四大步骤图像配准的发展展望图像配准图像配准是图像处理的基本任务之一，主要用于将不同时间、不同传感器、不同视角及不同拍摄条件下获取的关于同一目标或背景的两幅图像进行匹配的过程（主要是几何意义上的校正）。图像配准的方法可大致分为两大类一、基于区域的方法1.相关法（及归一化相关法）2.互信息法3.（变换域）Fourier变换法二、基于特征的方法1.固定特征描述子法2.金字塔法3.小波变换法图像配准的四个步骤一、特征检测（Featuredetection）二、特征匹配（Featurematching）三、变换模型估计（Transformmodelestimation）四、图像重采样和变换（Imageresamplingandtransformation）一二四三一、特征检测（Featuredetection）需提取的特征包括：closed-boundaryregions（闭合区域）,edges（边缘）,contours（轮廓）,lineintersections（直线交点）,corners（角点）,etc.可用控制点（CPs）来表示，如centersofgravity（重心）,lineendings（行尾结束符）,distinctivepoints（特征点）。一、特征检测（Featuredetection）闭合区域（closed-boundaryregions）检测方法特征实例演化分割方法（segmentationmethods）anappropriatesize,waterreservoirs,andlakes,buildings,forests,urbanareas简单分割→迭代分割（亚像素精度）→大尺度→使用距离变换的虚拟圆思想→基于Harris角点检测器及边缘的仿射不变领域→MSER一、特征检测（Featuredetection）线特征（Linefeatures）检测方法特征实例演化Canny检测器generallinesegments,objectcontours,coastallines,roadsorelongatedanatomicstructuresinmedicalimagingCanny检测器→高斯拉普拉斯函数（LOG算子）一、特征检测（Featuredetection）点特征（Pointfeatures）检测方法特征实例演化wavelettransform，Harrisdetector，SUSANmethodlineintersections,roadcrossings,centroidsofwaterregions,oilandgaspads,highvariancepoints,localcurvaturediscontinuities,inflectionpointsofcurves,localextremaofwavelettransform,themostdistinctivepoints,andcornersGabor小波变换→图像函数的二阶参量法→一阶参量法→高斯曲线局部极值法→Harris检测器→SUSAN法→SIFT算法→Forstner检测器→参量角点检测器，可处理杂点和噪声数据→可处理三维数据的角点检测器一、特征检测（Featuredetection）只有基于特征的方法才有此步骤。要求：具有良好的定位精度，且对图像的微小形变能够保持不变。算法：1）Canny2）Gabor小波变换3）Harris4）SUSAN二、特征匹配（Featurematching）在参考图像和待配准图像的特征之间建立相关性。不同的特征描述子，相似性度量以及特征的空间关系是关键。要求：对于不同特征具有高的分辨能力和稳定性，即健壮性和有效性。二、特征匹配（Featurematching）1、基于区域的方法可允许微小的旋转和尺度变化，但易受灰度变化影响，且对噪声、环境照度、传感器类型等敏感；当图像没有灰度和颜色方面的明显细节和显著信息时使用基于区域的特征匹配法。基于区域的特征匹配法包括相关法、Fourier法、互信息法。二、特征匹配（Featurematching）1.1相关法（Correlation-likemethods）典型：归一化互相关法（NCC,thenormalizedcross-correlation）模型函数：式中，W为归一化窗，I(i,j)为该点的灰度值，E为均值。二、特征匹配（Featurematching）1.1相关法（Correlation-likemethods）优点：方便硬件执行，可实时处理缺点：相似性度量的极大值极平坦，且计算复杂度大改进：序贯检测法(SSDA)；Hausdorff距离(HD)；基于边缘、向量的相关法二、特征匹配（Featurematching）1.2Fourier法（Fouriermethods）典型：相位相关法，基于Fourier变换原理，计算待配准图像和参考图像的互能量谱，逆向寻找它的峰值点模型函数：二、特征匹配（Featurematching）1.2Fourier法（Fouriermethods）优点：健壮性，不受照度影响、噪声干扰，图像越大计算时间节省越多；易处理具有边缘特征的多模态图像改进：Fourier–Mellin变换二、特征匹配（Featurematching）1.3互信息法（Mutualinformationmethods）典型：归一化互信息法，计算最大互信息值模型函数：式中，H(X)是随机变量的熵，P(X)是X的概率分布二、特征匹配（Featurematching）1.3互信息法（Mutualinformationmethods）改进：为提高配准效率，通常会使用（样条）金字塔的方法，进行由粗到精的配准；利用Parzen窗计算联合概率密度，使用梯度下降法、Jeeves方法或者Marquardt–Levenberg方法来最大化互信息；采用分层搜索策略寻找最大互信息值；联合概率熵的离散直方图估计，多分辨率峰的爬行算法计算互信息最大值。二、特征匹配（Featurematching）1.4最优方法（Optimizationmethods）高斯-牛顿数字极小化算法减小方差和；使用梯度下降法、Marquardt–Levenberg方法；Marquardt–Levenberg方法与方差矩阵和相结合；Powell多维方向集的方法；MI与相关性结合；为提高配准速度，使用金字塔的方法；能量最小化方法二、特征匹配（Featurematching）二、特征匹配（Featurematching）二、特征匹配（Featurematching）2.基于特征的方法假设两个以控制点（如点、线中点、区域重心的中点等）组成的特征集分别代表待配准图像和参考图像，该方法所要做的就是找到它们的对应关系，以空间关系或者相应的特征描述符来表示。二、特征匹配（Featurematching）2.1空间相关方法（Methodsusingspatialrelations）基于特征的空间关系，即控制点之间的距离和它们的空间分布。当检测到的特征比较模糊或者该特征邻域被局部扭曲时，我们使用该方法。算法：图形匹配算法；聚类法；线特征最小距离法；最近迭代点算法(ICP)，以处理三维图像等。二、特征匹配（Featurematching）2.2不变描述子法（Methodsusinginvariantdescriptors）描述子应满足的条件：不变性、唯一性、稳定性、独立性；方法：特征邻域的互相关法；特征相关MI；矩不变法（描述闭合区域特征）；二、特征匹配（Featurematching）2.2不变描述子法（Methodsusinginvariantdescriptors）描述子分类：特征描述子说明区域延长率参数、紧密度、空洞个数、最小边界矩形的特征描述森林、河流等点该点周围其他特征的空间分布、相关交线的夹角、图像函数的微分算子——闭合区域形状、轮廓标记、球面上非共线的三个控制点、多边形、矩不变、边界三角形——轮廓轮廓点的切线斜率，线长的直方图、最小圆半径、重心、邻域形变类型、轮廓链码几何方向线线特征点的角度直方图计算旋转角度——最长结构和角度、MVLT可用于所有特征二、特征匹配（Featurematching）2.3松弛法（Relaxationmethods）解决一致标志问题，可对线特征、角特征使用该方法，此外还有回溯法（Backtracking）该算法能允许偏移、旋转和变形二、特征匹配（Featurematching）2.4金字塔及小波方法（Pyramidsandwavelets）金字塔可以降低计算量；小波方法具有内在的多分辨率特性金字塔：高斯、拉普拉斯金字塔，中值金字塔，均值金字塔，与CC结合的金字塔；小波：样条正交小波，Daubechies和Haar小波，Gabor小波二、特征匹配（Featurematching）三、变换模型估计（Transformmodel估计匹配函数的类型和参数，以配准待配准图像和参考图像。这些参数可通过特征相关法来计算。要求：特征检测的精度和特征一致估计的可靠性。变换模型或方法包括：全局匹配模型、局部匹配模型、径向基函数匹配法、弹性配准三、变换模型估计（Transformmodel1全局匹配模型（Globalmappingmodels）它是使用最小二乘法对所有控制点来估计匹配函数及其参数，亦称形状保持匹配，对旋转、平移和尺度保持不变；一般模型（两个控制点）：三、变换模型估计（Transformmodel1全局匹配模型（Globalmappingmodels）仿射变换模型（三个控制点）：透视预测模型（四个控制点）：三、变换模型估计（Transformmodel2局部匹配模型（Localmappingmodels）对最小二乘法优化，使用加权最小二乘法和加权平均法，来估计模型及其参数。包括分段线性匹配、分段三次匹配和五次法。三、变换模型估计（Transformmodel3径向基函数匹配法（Mappingbyradialbasisfunctions）它是全局匹配法的一种，但是可以容忍局部几何形变。三、变换模型估计（Transformmodel3径向基函数匹配法（Mappingbyradialbasisfunctions）方法：曲面拟合,双向曲面拟合,高斯型,Wendland函数和薄板样条（TPS）。TPS是常用的一种方法，它的配准精度高，但是计算复杂度大，因此，Powell介绍了一种薄板样条表，以降低计算复杂度。随后，又有改进的B样条线性组合，弹体样条（EBS）。三、变换模型估计（Transformmodel4弹性配准（Elasticregistration）此方法的优势是，配准的特征匹配和匹配函数的设计可以同时进行，更符合实际；其缺点是，对于局部畸变的图像的处理效果不理想。因此，引进了流体配准法来解决该问题。另一些非刚性方法，包括基于扩散模型的配准，水平集配准，基于光流模型的配准。三、变换模型估计（Transformmodel四、图像重采样和变换（Imageresamplingandtransformation）待配准图像通过匹配函数转换后，一些非整数的像素值可以使用插值法来处理。要求：在插值精度和计算复杂度之间做一个权衡。四、图像重采样和变换（Imageresamplingandtransformation）插值算法：1）最近邻函数（不推荐采用）2）双线性和三次函数3）曲面拟合样条4）三次B样条5）Catmull–Rom基数样条6）高斯曲线7）简化的sinc函数四、图像重采样和变换（Imageresamplingandtransformation）展望图像配准是一个关键技术，涉及到图像融合、变化