一种基于学习的自动图像配准检验方法

1一种基于学习的自动图像配准检验方法*摘要：图像配准是众多具体应用的共性核心技术，如图像融合，变化检测等。然而，当参考图像经过变换后，如何自动地确定变换后的图像是否与目标图像真正达到了配准仍然是目前文献中一个尚未很好解决的问题。究其原因，主要是很难找到一种图像相似性的度量方法来有效地对配准后的图像进行评价。不同于传统的方法，本文提出了一种基于学习的相似性度量方法，即将图像配准的度量问题转化为模式分类问题，由通过机器学习设计的分类器自动检验图像是否配准。本文对400组图像进行了配准检验，实验结果显示了该方法的可行性和可靠性。尽管本文方法的具体实现是针对基于Fourier-Mellin变换的配准算法的，但这种基于学习的图像配准检验思想同样可以应用到其它配准方法中。关键词：自动图像配准，检验准则，基于学习的分类，Fourier-Mellin变换1导言图像配准是计算机视觉及其相关应用领域中的一个基本问题。如何度量二幅图像是否真正配准，换句话说，如何合理度量配准变换后二幅图像之间的相似性，是图像配准的一个核心问题，直接决定了是否可以进行全自动配准。关于图像的相似性度量，经典的方法是基于灰度的相关性度量[1]；对于不同模态的图像配准问题，基于互信息的相似性度量[10]成为近几年的主流方法；Hausdorff距离常用于二值图像的相似性度量[12]等。对图像配准而言，上述这些相似性度量方法的共同不足是仅仅考虑了图像间灰度的相似性，而没有考虑图像内容间的相似性，特别是图像几何要素之间的相似性。而在实际应用中，图像几何要素之间的相似性却是至关重要的。事实上，如何评价图像的相似性，涉及到了人类的视觉感知问题。从目前人们对视觉感知模型的研究进展来看，还很难给出一种合适的方式来定量描述视觉感知模型，这也是进行图像配准自动检验的难点。不同于上述这些直接对图像灰度进行相似性度量的方法，本文提出了一种基于机器学习的自动图像配准检验方法。该方法将配准检验问题转换为模式分类问题，通过机器学习的方法对图像是否配准做出决断。尽管这种方法的具体实现是针对基于Fourier-Mellin变换的配准算法的，但这种基于学习的相似性度量思想同样可以应用到其它一些配准方法中去。基于Fourier-Mellin变换的图像配准算法[2][3]是一种经典的基于非特征的图像配准方法，可对两幅近似满足相似变换（即一幅图像是另一幅图像经过平移、旋转和比例缩放等变换后的图像）的图像进行配准。由于Fourier-Mellin配准算法在配准检验中存在很多问题（这部分内容将在第三部分详细论述），一些常用的相似性度量方法在这里不适用，所以本文探讨研究了基于机器学习和分类的配准检验方法。具体地讲，本文将图像的配准度量问题转化为参数空间的模式分类问题，通过机器学习的方法，较好地解决了图像配准中的自动检验问题。本文的组织结构如下：第二部分简单回顾了基于Fourier-Mellin变换的基本配准算法；该方2法在配准检验中存在的问题将在第三部分进行深入的剖析；本文的第四部分阐述了如何将检验图像的配准问题转化为模式分类问题以及解决这个问题的总体思路；第五部分对分类器的设计、不同类型特征数据的组织以及对应的分类性能等进行了研究和比较；最后是全文的结论。2基于Fourier-Mellin变换的两步相位相关图像配准基本算法2.1Fourier变换位移理论设2(,)fxy为1(,)fxy在x和y方向分别平移0x和0y后的图像，即：2100(,)(,)fxyfxxyy（1）若1f和2f对应的傅立叶变换分别为1(,)Fuv和2(,)Fuv，则它们之间有如下关系：00()21(,)(,)juxvyFuvFuve（2）则1(,)fxy和2(,)fxy的互功率谱为00*()12*12(,)(,)|(,)(,)|juxvyFuvFuveFuvFuv（3）其中*2F表示2F的复共轭。通过对（3）式进行傅立叶逆变换，在(,)xy空间的00(,)xy处将形成一个单位脉冲函数，如图1(a)所示，脉冲位置即为两幅被配准图像间的相对平移量0x和0y。在实际应用中，由于两幅图像间只有部分重叠及其它噪声和误差，一般对式(3)进行傅立叶逆变换后的相关值分布如图1(b)所示（这些相关值通常都是复数，本文所说的相关值的大小都是指它的模），这时，最大峰位置对应于两图像间的相对平移量。反之，如果两幅图像之间不满足平移变换关系，那么式（3）傅立叶逆变换后的函数没有明显的峰值，且呈现出不规则分布，如图1(c)所示。式（3）还表明，互功率谱的相位等价于图像间的相位差，故该方法也称作相位相关法。2.2基于Fourier-Mellin变换的两步相位相关图像配准基本算法(a)理想的峰值分布(b)实际的峰值分布(c)不匹配时的峰值分布图1Fourier变换位移理论用于图像匹配时的相关值典型分布图3考虑被配准的两幅图像(,)sxy和(,)rxy，其中(,)sxy是(,)rxy经过平移、旋转和一致尺度缩放（即两个方向的尺度变换因子相等）变换后的图像，即00(,)[((cossin),(sincos)]sxyrxyxxyy（4）那么(,)sxy和(,)rxy对应的Fourier变换(,)Suv和(,)Ruv之间满足：211|(,)||[(cossin),(sincos)]|SuvRuvuv（5）|.|表示频谱幅度。从式（5）可看出，旋转角度和缩放因子可以和平移量0x和0y进行分离计算。频谱幅度仅与旋转角和缩放因子有关，而与平移量00(,)xy无关，因此，相似变换参数可分两步来分别求出，第一步通过图像幅度谱求出旋转角度和缩放因子。第二步求出平移参数0x和0y。2.2.1第一步：用相位相关法求旋转角度和缩放因子定义1(,log)(,)pprr（6）1(,log)(,)ppss（7）其中pr和ps分别是图像r和s在极坐标系(,)中的幅度谱。那么很容易得出：11(,log)(,loglog)ppsr（8）或者11(,)(,)ppsr（9）其中log，log。可以看出，通过上述变换，式（9）变换为与式（1）相同的形式，这样就可以在对数-极（Log-Polar）空间对1ps和1pr依次计算式（2）和（3），然后，对式（3）进行傅立叶逆变换求得相关值的分布，根据其对应的峰值位置即可求得和。本文称这一步求得的相关值为相关值Ⅰ，最大相关值称为峰值Ⅰ。如果对数的底取为e，那么e（10）这样就求出了旋转角度和比例因子。2.2.2第二步：用相位相关法求两个方向的平移参数0x和0y4根据第一步求出的和对图像(,)sxy进行反变换得到图像1(,)sxy，通过在图像空间对1(,)sxy和(,)rxy依次计算式（2）~（3），然后对式（3）进行傅立叶逆变换求得相关值的分布，根据其对应的峰值位置即可求得两个方向的平移参数0x和0y。本文称这一步求得的相关值为相关值Ⅱ，其最大相关值称为峰值Ⅱ。式（9）称为Fourier-Mellin变换。3基于Fourier-Mellin变换的图像配准算法分析3.1第一步相位相关法分析从第二部分中的式(4)和式(5)可以看出，该算法有一个基本前提，即一幅图像旋转一定角度后的傅立叶变换频谱等价于未经旋转的图像的傅立叶变换频谱旋转相同的角度。Stone等人[4]对由于图像旋转产生的频谱混叠所引起的图像配准噪声进行了详细分析，并且推导出，虽然对无限长连续图像而言，这个假设是正确的，但是对于有限长离散图像数据而言，这个基本前提是不正确的。其主要原因是由于依赖于旋转的频谱混叠（即对不同的旋转角度其频谱混叠程度是不同的）引起的artifacts和旋转变换中插值误差产生的artifacts造成的。Stone等人得出的结论是：第一，第一步相位相关法求得的峰值Ⅰ并不能可靠地对应正确的旋转角度位置；第二，应用相位相关法求得的峰值Ⅰ大大小于理论值1.0，一般来说降到了0.03以下。文献[3][4][8]等都针对这种由于旋转引起的问题进行了详细研究，并采取了一些诸如加窗和滤波等措施来提高峰值、减少频谱混叠、增加鲁棒性，但仍然未能从根本上解决这个问题。需要说明的是，在[3][4][8]等文献中，主要研究在两幅图像内容完全相同时，由于图像旋转带来的图像配准问题。然而，在一般的应用中，被匹配的两幅图像之间仅有部分重叠，同时还可能存在平移和尺度缩放等变形，还有其它多种噪声。对这类情况，无法象文献[4]中那样给出解析分析结果，亦即目前理论上还不能定量地推导出这些因素造成的影响。实验发现，根据峰值Ⅰ的绝对大小也无法判断匹配结果的正确与否。文献[2]中提到，一般情况下，峰值Ⅰ小于0.03结果就不可靠了，但我们实验发现，即使峰值Ⅰ大于0.1，结果也未必可靠，而两幅图像真正匹配时，峰值Ⅰ小于0.03的情况在噪声较大的情况下是很常见的。因此可以认为，这个取值0.03是和具体应用有关的。在文献[3]中，对该算法的性能定义了3种量化评价指标，即输出信噪比、峰值的尖锐性和PD(PercentDiscrimination)，但都不适宜作为确定配准与否的判断标准。我们实验还发现，相关值Ⅰ的位置分布来进行配准检验也是没有规律可循的。3.2第二步相位相关法分析将2.1中介绍的Fourier变换位移理论应用于两幅图像之间仅有平移变换的配准问题，当两幅图像之间的平移量是像素的整数倍时，该方法是一种精确的配准方法。虽然也存在频谱混叠的问题，但不同于具有旋转的情况，因为这时对于被配准的两幅图像而言其影响是相同的[4]。在基于Fourier-Mellin变换的图像配准应用中，具体情况和Fourier变换位移理论的假设有所不同，这主要体现在：第一，图像本身是离散取样的，图像间的平移量可能对应于非整数倍的像素值；5第二，一般来说，被配准的两幅图像并不严格满足相似变换关系；第三，两幅图像之间多数情况下只有部分重叠；第四，在基于Fourier-Mellin变换的图像配准基本算法中，第一步运算过程中Log-Polar坐标变换和第二步运算过程的图像反变换，都存在插值误差；第五，由于变换参数都是离散取值，所以第一步求得的旋转角度和尺度缩放系数是有误差的，而且将直接影响第二步的运算；第六，一些其它的诸如背景噪声等原因也会引入误差。通过理论分析和大量的实验发现，由于上述多种噪声的存在，对相关值Ⅱ的大小和相关位置的分布造成了不同程度的影响，但总的来说，呈现出如下三类分布形式。1.单峰分布在理想的情况下，即没有任何误差的情况下，在正确的匹配位置处的相关值最大，且等于1，而其它位置的相关值为0，是标准的脉冲函数，如图1(a)所示；在具有较小误差的情况下，仍具有明显的单峰值,即峰值Ⅱ明显大于其它处的相关值，如图1(b)所示。2.无规律分布和情况⑴正相反，相关值Ⅱ在每点的数值都很小，且呈现无规律的分布。如图1(c)所示。3.局部凸峰分布考虑到上述各种噪声的影响，相互配准的两幅图像之间的相关值还常常会呈现出另一种分布。这种分布既没有明显的峰值结构，也不是毫无规律的分布。表现出来的形式是，前几个依次最大的相关值相差不大，且其对应的相关位置全部或大部分都集中分布于最大相关位置的较小邻域（并非一定是以最大相关位置为中心的对称分布），形成一个“凸峰”。更具体点说，这种凸峰分布还可以进一步细化为以下三种形式（参看图2）：⑴前几个最大相关值相对较大，但数量较少，通常只有2～3个，如图2(a)所示。⑵前几个最大相关值数值较小（甚至和噪声数据相差不大），但数量较多，通常可达到4个到10个以上，如图2(b)所示。⑶有时，前几个最大相关值对应的相关位置中会有个别位置偏离这个集中的凸峰区域，但这些位置往往是孤立的，不会形成相对集中的区域，这通常是由随机因素造成的，如图2(c)所示。上述三种分布情况可以解释为：在较为理想的情况下，相关能量主要集中在某一点，且数值较大；随着误差的增大，主要的相关能量分散在一个较