搜索
图像拼接的两个关键技术是图像配准和图像融合。图像配准[2](ImageRegistration):是根据一些相似性度量来计算不同图像间的变换参数,使不同成像设备在不同时间和不同视角获取的同一场景的多幅重叠图像变换到同一坐标系下,并得到最佳匹配的过程。图像匹配[3](ImageMatching):在一个大的图像区域寻找一个合适的子区域,与目标相似。有时候图像匹配也可以认为是一种图像配准。图像融合[4](ImageFusion):将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等,最大限度的提取各自信道中的有利信息,最后综合成高质量的图像,以提高图像信息的利用率、改善计算机解译精度和可靠性、提升原始图像的空间分辨率和光谱分辨率,利于监测。目前全景图像拼接在以下几个方面存在不足之处-(1)为了达到图像正确配准,需要对参考图像和待配准图像中的什么信息进行提取,选择何种搜索策略,以及对所提取的信息如何进行配准;(2)场景中参考图像和待配准图像之间不仅发生了平移,还有旋转和缩放,或者在两幅图像之间存在大面积的同色区域等难以匹配的情况,如何在这些情况下也能做到正确的配准;(3)SIFT特征应用于图像拼接有大量冗余,导致运算量大,而且非边缘区域的特征点容易出现匹配错误;(4)RANSAC算法是每次随机抽取初步匹配点样本来计算模型参数,这样会导致迭代次数不定(偏多),带来运算量大的问题;(5)传统的基于动态规划的最优缝合线搜索技术,很可能与两幅相邻图像的某个边界离得很近,会导致图像融合的平滑区域过小而无法消除“拼接缝”和“鬼影”。(6)重叠区域多分辨率融合技术研究中,自适应加权函数(融合规则)方面的研究很少。图像拼接技术的难点主要在于以下几个因素:(1)通用性的拼接技术。目前的图像拼接技术的各种方法,通常都应用在特定的场景中。针对自然场景中存在物体大小、形状、位置及光照条件等变化,甚至存在遮挡从而导致同一场景中的实体存在较大的可变性,因此在实际的图像拼接过程中,需要人工选取拼接算法。然而人工选取算法经常不是最佳的图像拼接技术,影响图像的拼接质量。大量实验表明,目前还没有一种通用图像拼接算法能够保证在不同场景下获得较理想的拼接效果。(2)匹配信息的提取和配准效率的问题。随着采集的图像分辨率越来越大,如何提取出图像中的特征信息,以及如何对提取出的信息进行快速的配准,以达到预期的效果。(3)图像融合问题。虽然可以获得图像的精确配准,但是在图像过渡区普遍存在缝合线和鬼影问题,这两个问题严重影响了图像拼接效果,如何提出一种新的图像融合算法,以提高图像拼接的效果。全景图像拼接作为图像拼接的一个特例，其发展历程与图像拼接技术的发展息息相关。在图像拼接中，根据配准方法主要可以分为三类：第一类是基于相位相关的图像拼接算法，该类算法将输入图像序列先进行傅立叶变换，然后利用图像变换后的互功率谱中的相位信息计算图像间的相对位移；第二类是基于几何区域相关的图像拼接算法，该类算法是通过在图像像素点灰度级上，对输入图像的部分几何子区域进行相关运算来进行匹配，从而完成图像拼接；第三类是基于特征的图像拼接算法，该类算法首先提取输入图像的特征，然后通过特征匹配，来完成图像配准，从而完成图像拼接。图像配准：1.（基于频域的图像配准算法就是首先将图像变基于频域的图像配准换到频域再做相关的处理实现图像的配准）：基于FMT的相位相关图像配准算法（FMT可以直接处理旋转和缩放的图像，它利用了图像的全部信息进行配准，克服了相位相关性噪声和频率噪声的影响，减小了几何畸变对图像匹配的影响，并且对于光照变换不敏感。）2.：基于空间域的图像配准方法基于灰度的图像配准算法（基于灰度信息的图像配准算法有着原理简单的优点，但是计算量大，而且对噪声光照都很敏感。）：块模版配准算法、四边模版匹配法和金字塔分层模版匹配等基于特征的图像配准算法（使用区域统计特征作为图像配准特征的前提是可以较好的分割出区域。它使用灰度值作为图像匹配的基元从而避免了提取特征的过程中导入的误差。它可以利用到图像中比较多的图像信息，因此复杂的图像可以使用区域统计特征来实现图像的高精度配准。但是它处理的信息量过大，计算复杂度高，而且受光照、灰度变化影响较大，对图像的尺度变化、旋转以及遮挡极为敏感。）基于不变量的图像配准1)SIFT特征的提取（尺度不变特征变换即SIFT对于图像的缩放、平移、旋转、仿射变换都具有不变性，而且对噪声和光照变化都具有良好的鲁棒性，所以基于SIFT特征的图像配准算法对于旋转和尺度变化较大的图像也具有良好的效果）2)SURF特征的提取(SURF算法就是一种加速的SIFT算法，它利用了盒子滤波、积分图像以及Haar小波实现了算法的加速):SURF特征和SIFT特征性能差别不大，SURF特征在视点变化、光照变化以及旋转缩放变换上略于SIFT，而在模糊上略强于SIFT亮度调整1.根据两幅图像亮度值的比例模型进行调整:2.亮度调整的另一种方法是对两幅图中的像素点做线性估计：根据RANSAC算法思想可以求出系数，完成图像之间曝光差异的校正。传统图像融合方法1.直接平均法2.距离平均法3.距离权重法4.对比度调制法对以上四种方法的分析：直接平均融合方法是最简单的融合方法，但是由于他过于简单，往往不具备良好的融合效果。对比度调制法可以针对灰度图像的融合可以实现两幅图的无缝拼接，但是对于彩色图像效果不佳。加权平均法选择合适的权重时对两幅在重叠区域具有曝光差异的图像具有比较不错的效果，距离权重法针对图像拼接中图像融合问题具有一定的效果，当只存在一般的曝光差异时它可以使拼接的图像显得自然、没有拼接痕迹，而且该方法简单快速容易实现，在一些拼接的工程应用上经常使用。融合鬼影的消除方法1)最佳缝合线2)多分辨率融合算法3)泊松融合算法全景图像拼接整体流程：首先读入图像，对图像进行中值滤波去噪后判断是否存在镜头失真，如果存在失真则利用基于几何模型校正方法实现畸形校正，并做柱面变换投影到同一平面，利用SURF提取特征点，然后利用RANSAC算法和八参数算法得到图像的几何变换模型，这时就得到了图像的配准结果。当图像中存在运动物体时利用最佳缝合线和泊松融合相结合的方法实现融合鬼影的消除，不存在运动物体则直接利用距离加权法融合。6.12图像拼接----无缝处理图像拼接常常在拼接边界处产生2种类型的拼接缝：（1）颜色拼接缝由于曝光差异造成图像间的颜色或者亮度不一致；（2）结构拼接缝由于图像没有很好的对齐而产生几何结构的错位或者断裂混色处理方法：（1）消除颜色拼接缝羽化——对图像间的重叠区域的像素进行空间加权的混色操作基于特征的加权和内插函数来降低颜色的差异缺点：羽化在平滑低频曝光差异的同时，会模糊图像边缘（2）多分辨率混色——拉普拉丝金字塔混色:解决模糊图像边缘的问题（3）su在小波域下进行混色处理最佳拼接缝方法：（1）采用动态规划方法寻找最佳拼接缝（2）采用Graphcut方法寻找最佳拼接缝在梯度下进行图像处理：（1）2003年，泊松图像编辑方法（2）2004年，Wang等将泊松编辑方法扩展到视频情况（3）04年，结合Graphcut优化和梯度域融合进行交互数字图像蒙太奇处理（4）06年，Zomet等通过优化重叠区域的梯度强度来实现图像拼接（5）GFBSE（gradientfield-basedseamelimination）基于图像梯度场的拼接缝消除方法（拼接结果会有些模糊）6.15基于序列图像的全景图像拼接（重叠部分是1/15~1/10就可以）：根据相邻两幅图中特征区域像素灰度差值极小原理，确定两幅图像的重叠区域匹配，提出重叠区域图像淡入淡出自然缝合算法。、重叠范围的确定（主要基于相邻两幅图像重叠部分对应像素的相似性）（1）基于面积的算法：取前一幅图作为模板，在第二幅图中搜索具有相同或者相似值的对应区域从而确定重叠区域范围。（计算量太大并且受光照条件的影响）（2）最佳拼配：从第一幅图像的重叠区域取相互平行两列上部分像素,用它们的比值作为模板,在第2幅图像中由左至右依次从间距相同的两列上取出部分像素,并逐一计算其对应像素值比值,然后将这些比值依次与模板进行比较,其最小差值对应的列就是最佳匹配[4]。运用Multi-masks方法将多个图像的选定区域同时融合在一起,并利用小波变换对图像进行多分辨分解,采用与频段宽度成正比的加权拼接宽度来消除拼缝的影响（常常陷入匹配模块的局部最优，导致图像拼接的失败）（3）根据相邻两幅图中特征区域像素灰度差值极小原理，确定两幅图像的重叠区域匹配6.19基于Fourier-Mellin变换的图像配准方法1994年Chen等人提出了一种基于Fourier-Mellin变换的图像配准方法。该方法假设被配准的两幅图像，其中一幅图是另一幅图经过旋转（rotating）、尺度伸缩（scaling）和平移（translation）变换后的图像。该方法通过计算两幅图像功率谱的反Fourier变换所对应的峰值位置求取他们的相对平移，通过对图像幅度谱进行对数极（Log-Polar）变换，在对技术控件用类似于计算相对平移的方法来求得相对旋转角度和尺度缩放因子，从而实现了满足RST变换关系的两幅二维图像之间的遥感图像、医学图像、目标识别等应用进行大量实验，发现,该方法除具有较高的精度外,对诸如一致性的照明变化、两幅图像内容的部分不相同、部分遮挡、系统校正误差、加性噪声等的影响具有很强的鲁棒性,并且相比其它方法，还具有较少的运算量.6.20近年来,研究人员在全景图拼接技术方面做了大量的、有意义的工作,提出了一些行之有效的拼接算法,但是各算法都存在一定的局限性.Apple公司的QuickTimeVR系统在拼接全景图时,必须知道相邻帧间摄像机的旋转角,这需要昂贵的摄像器材和复杂的摄像机校准工作;在摄像机绕垂直轴线旋转的前提下,McMilliams和Bishop提出了一种算法,依据摄像机绕轴旋转360°所拍摄的图像序列求解摄像机参数,进而进行全景图拼接,但这种算法对相邻帧间摄像机的转动角度作了严格的限制,要求相邻帧间有2/3以上的重叠;Stein提出了在相邻帧间进行纹理特征跟踪,进而求摄像机焦距和帧间偏移距离的算法,该算法能取得较好的精度,但是纹理特征的检测和跟踪带来了巨大的计算量.Szeliski和Shum提出了在保持摄像机光心基本不动的前提下,利用手持摄像机图像拼接全景图的算法