基于双目视觉的三维重建

基于双目视觉图像的三维重建人机交互课程1.引言2.基于图像的三维重建2.1摄像机标定2.2特征抽取与特征匹配2.3三维空间点定位2.4表面几何建模2.5纹理映射3.三维重建效果与应用主要内容我们看到的世界是三维的。人机交互中计算机视觉方面的研究目的就是为了赋予计算机以人类的视觉认知功能，使计算机具有通过二维图像认知三维世界的能力。1、引言三维信息获取的技术手段通常分三种：第一种：利用三维建模软件（如3DSMAX，AutoCAD等）构造三维模型；第二种：人们通过仪器设备直接获取三维信息；第三种：利用图像或者视频来重建三维模型；最后一种基于图像的三维建模方法，通过对物体实拍的图像序列或者图像对来恢复出物体模型。根据重建算法的复杂性，建模过程也越来越自动化，使得人工劳动强度越来越轻，降低了建模成本。而建模所需的设备只需要一个普通的相机，适用于任何场景的重构。基于图像的三维重建常见算法：基于平面的三维重建；基于深度图的三维重建；基于轮廓线的三维重建；基于立体视觉的三维重建；2、基于图像的三维重建图基于立体视觉的三维重建基于立体视觉的三维重建流程原始图像摄像机基础矩阵摄像机标定特征点特征点对特征匹配特征点检测对极线约束空间点定位点云模型表面几何重建可见外壳纹理映射三维模型2.1摄像机标定2.1.1定义与几何意义(1)定义：从摄像机获取的图像信息出发，计算三维空间中物体的几何信息，并由此重建和识别物体，而空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系是由摄像机成像的几何模型决定的，这些几何模型参数就是摄像机参数。在大多数条件下，这些参数必须通过实验与计算才能得到，这个过程被称为摄像机定标(或称为标定)。(2)三个坐标系：a、世界坐标系：b、摄像机坐标系：c、图像坐标系:vu,yx,Ou摄像机坐标系yxv图像坐标系cXcZcY1O世界坐标系wXwZwYwO对图像坐标系，如图，原点定义为摄像机光轴与图像平面的交点。若在u，v坐标系中的坐标为，每一个像素在x轴与y轴方向上的物理尺寸为dx,dy，则图像中任意一个像素在坐标系下的坐标有如下关系：写为齐次坐标形式1O图图像坐标系1O00(,)uv001/001/10011udxuxvdyvyccczyxM,,cXcZcYuYuXuuyxm,occuzxfxccuzyfy101000000001cccuuczyxffyxz写成齐次坐标形式为（3）两种摄像机模型a、小孔成像模型ccuzxfxccuzyfy101000000001cccuuczyxffyxz写成齐次坐标形式为cYuYuXcXocZccczyxM,,1Ofuuyxp,b、中心透视投影模型对于世界坐标系中的点进行变换，其过程包括两个部分：一个是变换部分，一个是旋转部分。所以摄像机坐标系与世界坐标系之间的关系可以用旋转矩阵R与平移矩阵t来描述。因此，空间中某一点P在世界坐标系与摄像机坐标系下的齐次坐标如果分别是与，于是存在如下关系：(4)世界坐标与摄像机坐标的关系(,,)TXYZ(,,)TcccXYZ由以上推导的公式(5)几何意义101000000001cccuuczyxffyxz001/001/10011udxuxvdyvy最终得到K蕴涵了摄像机的焦距等内部参数，被称为内参矩阵；(R,t)则反映了摄像机坐标系相对于世界坐标系的方向和位置等外部参数，称为外参矩阵。所以，求投影矩阵P的过程则成为摄像机的标定。0031/000001/0001100100101wwcTwxudxufRtyzvdyvfoz00330000100101,1/,1/1wxwyTwxyTxuRtyvPMozRtPKdxdyo其中上式推导出了图像像素坐标系与世界坐标系间的关系。2.1.2摄像机标定方法由2.1.1中的推导，有图像像素坐标系和世界坐标系的关系:从公式上看，若求矩阵P，则应同时知道空间中若干M点的坐标以及图像上对应点M1、M2的坐标。11wwcwxuyzvPzMM1M2通常，可以采用在摄像机取景范围内放置定标物体的方法进行摄像机定标，其中定标物体的三维形状是已知的，即定标物体上标识点(也称为参考点)相对于物体本身坐标系的三维坐标是已知的。目前广为采用的定标物体是一块画有棋盘格的平板（如图），只需要用摄像机从不同视角拍摄这个平板，对每幅图像提取标识点(定标板上已经标记好位置)，从而获得定标板标识点与图像标识点间的对应关系，这样，对每幅图像就可以确定一个投影矩阵P，从而完成摄像机标定。2.2特征提取与特征匹配2.2.1特征提取特征提取，就是要从大量的图像数据中选择最能反应景物属性特征的因素，用于特征匹配。在目前的特征提取算法中，经常采用的是区域特征、边缘特征和角点特征。为空间点的定位重建，这里采取提取特征点。图像特征点提取方法有很多，可以定义某种算子(Harris算子、DoG算子等)，通过在图像上寻找该算子的极值来提取图像的特征点；也可以通过从图像中提取边缘，然后，在边缘上搜索曲率最大的点作为特征点等等。图特征点的提取结果2.2.2特征匹配图像匹配是图像处理中的重要课题，也是三维重建的一个重要步骤。是为了寻找同一空间场景在不同视点下投影图像像素间的对应关系。对特征提取出的特征点来说，匹配即是在不同视角的图像中找出特征点的对应点，也称对应基元匹配。（1）对极几何约束设两相机的中心分别为C和C’，两图像平面分别为I和I’，X1、X2为共同视域中的场景空间点，它们在两幅图像平面上的投影点分别为，。已知点C，C’，X1，X2构成一个平面，称为对极平面；该平面与成像平面I和I’分别交于直线L和L’，称为极线。对极几何约束可以描述为：假设x和x’分别为同一场景空间点X在两幅图像平面I，I’上的像点，则x’必定位于x对应的极线L’上，反之亦然。11xx’和22xx’和（2）匹配约束条件a、唯一性：在给定的两幅图中，一幅图中的一点，在另一幅图中的对应匹配点至多只有一个，反之亦然。b、相似性：对应的特征应该具有相同的属性。在某种度量下，同一物理特性在两幅图像中应该表现出相似的性质。c、连续性：与观察点的距离相比，物体表面因凸凹不平引起的深度变化是缓慢的，因而，视差的变化也是缓慢的，或者说视差具有连续性。（3）常见算法：a、区域匹配；b、相位匹配；c、特征点匹配；图特征匹配结果2.3三维空间点定位oIIMomm'eel'lwzwxwyR,T图三维空间点定位如图，m是提取的图像特征点，通过特征匹配得到其在另一平面的匹配点为m’。由摄像机标定得知投影矩阵P和P’，故可以得到这对匹配点（m，m’）的反投影的两条射线。当匹配点满足对极几何约束时，反投影射线会在空间中相交，交点M的坐标即为三维空间坐标。通常情况下，像点坐标都存在测量误差，使得对极几何约束得不到满足，无法使用反投影交点的方法得到三维空间坐标。因此，需要计算出三维空间坐标的最佳估计值，这个过程称为三维空间点定位。可用最小二乘法求取坐标，或者用最大似然估计法最小化投影误差。2.4表面几何建模2.4.1点云模型的建立概念：点云：三维景物外观表面的点数据集合称之为点云。面片：即三维景物表面某一部分的估计。由之前的方法重建出的空间三维点，每个三维点都会对应一组面片。根据PMVS点云生成算法，剔除错误的三维点对应的面片，从而得到点云模型。2.4.2表面重建与实现对于散乱点云，寻找一种快速有效的曲面重建方法是当前的一个研究热点。（1）根据重建曲面和数据点云之间的关系可以将曲面重建分为插值法和逼近法两大类。前者得到的重建曲面完全通过原始数据点。后者得到的重建曲面是原始数据点的一个逼近。（2）根据重建曲面表示形式的不同可以将曲面重建分为五大类：参数曲面重建、隐式曲面重建、变形曲面重建、细分曲面重建和分片线性曲面重建。（3）根据曲面拓扑形式的不同可以将曲面重建方法分为两大类：基于矩形域曲面的方法和基于三角域曲面的方法。基于矩形域的曲面建模主要面向有序数据点云，而基于三角域的曲面建模则是面向散乱数据点云。这样，经过曲面重建算法，可以得到三维模型的可见外壳2.5纹理映射2.5.1纹理映射定义在计算机图形学中，为了使模型具有视觉上的真实感，常常预先定义一个纹理图像，再通过某种映射算法建立物体表面点和纹理图像像素点之间的对应关系，合理填充纹理图像像素，最后将纹理图像覆盖到三维表面上，这一过程就是纹理映射。2.5.2纹理映射基本思想纹理映射以多幅图像为基础，需要解决的问题是如何将存在于不同图像中的纹理信息组织起来。这就需要将图像中的有用信息提取出来，用一张纹理图像进行表示。这部分工作通常包含两个步骤：第一步是建立几何模型与纹理图像间的对应关系；第二步是根据对应关系合成纹理图像。图纹理像素映射过程2.5.3模型优化可见外壳一般以网格形式表示。网格中三角面片数目的多少，对模型的显示速度及模型所需的存储空间都有非常大的影响。目前人们熟知的网格优化技术包括网格平滑和网格简化。在进行纹理映射之前，采用适当的平滑和简化算法对网格结构进行优化，有利于提高映射精度。图可见外壳2.5.4模型展开空间六面体可以按照一定的对应关系展开二维平面中。基于这个思想，选定一个可以包围三维模型的六面体，将模型向空间六面体的六个面进行投影，再通过平面展开，就获得了三维模型与二维平面间的对应关系。图模型平面参数化和柱面参数化图六面体的一种展开方式2.5.5最终纹理合成由同空间点定位的方法可知几何模型与每幅彩色图像之间的投影关系，我们可以计算出模型上的每一个三维点在各幅图像上所对应的象素。经过一些处理（面片可见性判断、加权平均），就获得了所有三维模型在纹理图上对应的纹理信息，也就台成了模型的最终纹理图像。在进行绘制的时候只需通过新合成的纹理图对模型进行映射，就能正确的显示出三维重建的最终结果。纹理映射最终结果展示：3、三维重建效果及应用（1）制造业与逆向工程（2）影视与娱乐数字化三维模型，能够给电影和视频游戏提供丰富素材。37（3）文化遗产的保存对文物进行三维重建操作，以便获取文物精准的几何和色彩信息。图河南省新乡市辉县村舍重建39图新疆米兰古城三维重建图40（4）裸眼3D谢谢！