搜索
图像拼接学习1为什么要进行图像拼接在很多研究领域需要一些分辨率很高的超高清、全景图像。而现有的全景相机、广角镜头等设备不仅昂贵，而且存在失真的现象。所以要使用图像无缝拼接技术将很多张具有部分重叠区域的图像进行拼接，从而得到一幅宽视角的全景图像，满足人们在各领域研究的需要。2图像拼接的流程一、图像拼接的流程：大致可分为三部分：图像预处理，图像配准，图像融合。详细分为：①预处理—②特征点搜索—③特征点筛选—④两幅图像中的特征点配对—⑤根据配对点找到不同图片之间的映射变换关系—⑥图形融合3图像的预图处理图像预处理包括：噪声去除、灰度处理、几何畸变的校正等图像处理。4图像配准提取参考图像和待拼接图像中的特征信息，然后在提取出的特征信息中寻找最佳的匹配。图像配准算法主要包括三类：基于图像像素的方法、基于图像特征的配准算法和基于图像区域配准算法。4.1基于特征的图像配准算法一、为什么选用这种方法：这种方法提取了图像的特征，压缩了图像信息的数据量，因此在匹配时计算量小，速度较快。而且能保持图像位移、旋转、比例等方面的特征。并且图像特征具有很好的独特性以相互区分，对位置变化敏感，匹配精度高。二、算法介绍：首先对两幅待匹配的图像进行特征提取，将这些特征作为控制结构，然后利用提取到的特征结构来完成图像特征之间的匹配，通过控制结构的匹配关系建立图像之间的映射变换关系。匹配的特征可以是边缘、轮廓、直线等。常用的匹配特征主要有点特征、线特征和区域特征。三、算法种类：常用的特征点提取算法有Susan算法、Harris算法、SIFT算法等。4.2Harris角点检测算法4.2.1角点的数学定义：①角点是图像灰度一阶导数所对应的最大值的位置；②角点是图像中两条或两条以上边缘的交点；③角点是图像中灰度变化最大的位置；④角点位置的一阶导数最大，二阶导数为零；⑤角点是图像中物体边缘变换不连续的位置；⑥角点是二维图像亮度变化剧烈的位置。4.2.2Harris角点检测的优点：Harris算子是一种有效的特征点提取算子，其优点总结如下：①计算简单：Harris算子中只用到灰度的一阶差分以及滤波，操作简单，整个过程的自动化程度高。②提取的点特征均匀而且合理：Harris算子对图像中的每个点都计算其特征值，然后在邻域中选取最优点。实验表明：在纹理信息丰富的区域，Harris算子可以提取出大量有用的特征点。而在纹理信息少的区域，提取的特征点则较少。③可以定量的提取特征点：Harris算子最后一步是对所有的局部极值进行排序，所以可以根据需要提取一定数量的最优点。④Harris算子在计算时用到了图像数据的一阶导数，具有各向同性。因此对图像旋转、亮度变化、视角变化和噪声的影响具有较好的鲁棒性。4.2.3Harris角点检测算法该算法的原理可以简单描述为以下几个过程：一、选取一个矩形窗口沿不同方向做小段平移。依据所设定窗口在图像不同区域边沿不同方向移动时，窗口的局部灰度变化情况来确定是不是图像的角点。局部灰度变化有三种情况：①当这个小窗口在边缘内部区域，小窗口沿任意方向进行小段平移，图像的灰度变化都很小，局部自相关函数很平坦；边缘内部扫描边缘内部的局部自相关函数②当小窗口位于边缘区域。沿边缘方向进行小段平移，灰度变化较小。当沿垂直边缘方向进行小段移动，灰度变化会很大。边缘区域扫描边缘区域的局部自相关函数③当小窗口位于角点区域，窗口在各个方向上小的移动，灰度变化都很明显，局部自相关函数呈现尖峰状。角点区域扫描角点区域的局部自相关函数二、根据上步，相对应灰度的改变量为：通过灰度的变化构造出自相关函数：x，y是微小位移量，u，v为像素点坐标。Wu，v为高斯窗口在像素元（u，v）的系数。三、推导函数，得到函数解的表达式：将与自相关函数相联系的矩阵M代入上式后，式可以表示为：其中，E(x，y)与局部自相关函数很接近，M是像素点（x，y）的自相关矩阵，描述了这个自相关函数在原点的形状，x，y表示原始图像灰度的梯度，A，B，C，Wu，v，M分别为下式：设λ1和λ2为M矩阵的特征值，那么就可以通过判断λ1和λ2的大小关系，确定当前坐标点是否是角点。①：两个特征值都比较小，则该点为平坦区域；②：一个特征比较大，一个比较小，则该点位于边缘区域。③：两个特征值都比较大，说明在该点的图像灰度自相关函数的两个正交方向上的极值曲率均较大，就可以判定这个点是角点。四、将上述方法转化成能在实际运算中使用的方法：在实际应用算法中，往往不直接求解矩阵M的特征值λ1和λ2，使用相关矩阵M的迹Tr（M）和矩阵M的行列式值Det（M）代替特征值的求取，定义4.2式的局部区域最大值为角点。（4.2）由于高对比度的边界点被误检的概率很高，所以Harris角点检测算法，对减号右边部分进行了修正，将k设定为Harris算子的参数，一般取0.04~0.06。所以（4.2）式中的T可定义为角点边缘响应函数CRF:也就是说，CRF函数最大值所对应的点就是角点。4.3角点筛选一、筛选的好处：①：筛选出角点响应大的点，减少了关键点数量，从而减小了计算量。②：剔除误检测的角点，从而提高了算法精度。③：使关键点在整幅图像内分布均匀。二、自适应非极大值抑制算法的首次筛选：①目的：利用该算法从每张图片的角点中筛选出500个特征明显点。②原理：遍历关键点，并且有一个半径r，初始值为无限远。当r不断减小时，保留在半径r以内其它关键点R值均小于中心点R值的关键点，将其加入队列。队列内的关键点数达到预设值后停止搜索。③公式和方法：Xi是关键点的2维坐标，G是所有关键点的集合，c=0.9。这里我设定每幅图像各提取500个关键点。首先找出整幅图片R值最大的关键点Rmax，加入队列，并且得到Rmax*0.9的值。遍历所有关键点，若关键点xi的RiRmax*0.9,该点的半径设为无限远；若该关键点xi的RiRmax*0.9，计算该点到离它最近的Rj0.9R的点xi，记录两点间的距离ri。最后将所有r排序，找出r最大的500个点。三、通过判断欧式距离方法的再次筛选：①目的：从上部中的500个的特征明确点中筛选出两图像重叠区域的待匹配点。②公式和方法:首先从两幅图片的500个特征点中筛选出配对的点。筛选的方法是先计算500个特征点两两之间的欧氏距离:式中xik为第i个对象的第k个因子值，xjk为第j个对象的第k个因子值。按照距离由小到大排序,用最小的距离和第二小的距离的比值可以很好的进行筛选。使用距离的比值能够获得更高的truepositive，同时控制较低的falsepositive。我使用的阈值是r1/r20.5。比值小于0.5的则是配对点，大于的则不是。4.4角点匹配①算法：使用随机抽样一致性(RANSAC)算法，将待匹配点进行匹配。②目的：寻找一个最佳单应性矩阵H，矩阵大小为3×3。RANSAC目的是找到最优的参数矩阵使得满足该矩阵的数据点个数最多。由于单应性矩阵有8个未知参数，至少需要8个线性方程求解，对应到点位置信息上，一组点对可以列出两个方程，则至少包含4组匹配点对。其中(x,y)表示目标图像角点位置,(x',y')为场景图像角点位置，s为尺度参数。③RANSAC算法：从匹配数据集中随机抽出4个样本并保证这4个样本之间不共线，计算出单应性矩阵，然后利用这个模型测试所有数据，并计算满足这个模型数据点的个数与投影误差(即代价函数)。若此模型为最优模型，则对应的代价函数最小。当此函数大于某经验阈值th，则认为此匹配点对是伪匹配；若小于阈值时，将点确定为配对点。③步骤：1.随机从数据集中随机抽出4个样本数据(此4个样本之间不能共线)，计算出变换矩阵H，记为模型M；2.计算数据集中所有数据与模型M的投影误差，若误差小于阈值，加入内点集I；3.如果当前内点集I元素个数大于最优内点集I_best,则更新I_best=I，同时更新迭代次数k;4.如果迭代次数大于k,则退出;否则迭代次数加1，并重复上述步骤；注：迭代次数k在不大于最大迭代次数的情况下，是在不断更新而不是固定的；其中，p为置信度，一般取0.995；w为内点的比例;m为计算模型所需要的最少样本数=4；4.5获取映射关系图5-5给出了两幅图像拼接的示意图,图中和分别代表参考图像A和待拼接图像B的坐标系。XoY中的一条扫描线可以用直线方程Y=Y0表示,同一直线经过仿射变换变换到X’o’Y’就变成以下的参数方程:从图中可以求出落在图B中的线段的起点X1和X2终点。只要当x分别取0和widthB时就可以得出X1和X2了。重叠区域的长度为:如此就可以方便地求出图像和图像变换后区域的重叠部分以及重叠区域内像素点的对应关系。在图像合并过程中,图像像素的取值方法将会影响到整个拼接的结果。5图像融合5.1图像融合介绍图像融合就是将不同来源的同一对象的图像数据在空间配准以后，采用一定的算法将各图像数据中所含的信息互补性地结合起来产生新图像数据的技术。图像融合可分为：像素级融合、特征级融合和决策级融合。常用融合方法分为三种:加权,均值,多分辨率融合技术。处理颜色亮度的平滑过渡的插值方法有最邻近插值法,双线插值法,立方插值法。5.3加权平均融合方法加权平均融合法类似于平均值法,但重叠区域的像素值不再是简单的叠加,而是先进行加权后再叠加平均。设代表融合后的图像,和分别代表待拼接的两幅图像,则有:这里w1和w2分别是第一幅图像和第二幅图像中重叠区域对应像素的权值,并且满足w1+w2=1,0w11,0w21。选择适当的权值,可以使重叠区域实现平滑过渡,同时消除拼接痕迹。在权值的选取上有两种方法，一种是戴帽法，另一种是渐入渐出法:渐入渐出法重叠区域像素的权值与该象素点到重叠区域的边界距离有关,设代表融合后的图像,和分别代表待拼接的两幅图像,则可表示为:式中,表示权重值,与重叠区域的宽度有关,一般取,其中表示重叠区域的宽度,且,,。在重叠区域中,由渐变至由渐变至,由此实现了在重叠区域中由到的平滑过渡,如图所示。多数情况下，这种加权平均融合方法可以提高检测的可靠性，还可提高融合后图像的信噪比，可以很好地处理曝光差异，简单直观，融合速度快，适合实时处理。