3-胡占义三维重建课件

摄像机标定和三维重建胡占义中国科学院自动化研究所模式识别国家重点实验室主要内容1、引言2、图象的形成过程3、传统标定方法DLT方法，RAC方法和简易标定方法4、预备知识5、摄像机自标定6、基于主动视觉的摄像机标定7、分层重建理论8、多视点几何引言几个问题什么是摄像机标定？为什么要对摄像机进行标定？为什么要研究不同的摄像机标定方法？什么是三维重建？为什么要进行三维重建？引言三维重建是人类视觉的主要目的，也是计算机视觉的最主要的研究方向.(Marr1982)所谓三维重建就是指从二幅和二幅以上图象恢复空间点三维坐标的过程。三维重建的三个关键步骤•图象对应点的确定•摄像机标定•二图象间摄像机运动参数的确定三维重建示意图图象的形成过程和摄像机针孔模型Ou摄像机坐标系yxv图像坐标系cXcZcY1O世界坐标系wXwZwYwO1、世界坐标系：2、摄像机坐标系：3、图像坐标系:vu,yx,说明：为了校正成像畸变用理想图像坐标系和真实图像坐标系分别描述畸变前后的坐标关系uuYX,ddYX,坐标系摄像机光学成像过程的四个步骤刚体变换透视投影畸变校正数字化图像世界坐标系摄像机坐标系真实图像坐标系数字化图像坐标系理想图像坐标系tzyxRzyx11013、刚体变换公式齐次坐标形式CB物体AB图像Of=OB为透镜的焦距m=OC为像距n=AO为物距nmf111fnfm一般地由于于是这时可以将透镜成像模型近似地用小孔模型代替2、透视投影——透镜成像原理图ccczyxM,,cXcZcYuYuXuuyxm,occuzxfxccuzyfy101000000001cccuuczyxffyxz写成齐次坐标形式为2、透视投影——小孔成像模型ccuzxfxccuzyfy101000000001cccuuczyxffyxz写成齐次坐标形式为2、中心透视投影模型cYuYuXcXocZccczyxM,,1Ofuuyxp,dtPositionwithdistortionIdealPositionuYuXdrdr:radialdistortiondt:tangentialdistortionuuyuduuxudyxyyyxxxuu,,3、畸变校正——径向和切向畸变径向畸变离心畸变薄透镜畸变径向失真切向失真a:barreldistortionb:pincushiondistortionab3、畸变校正——其它畸变类型桶形畸变a和枕形畸变b薄棱镜畸变uYuXAxisofmintangentialdistortionAxisofmaxTangentialdistortionsincot00dyyvvdxydxxuuddd在中的坐标为象素在轴上的物理尺寸为1Ovu,00,vudydx,AffineTransformation:4、图像数字化U1O0udydx0vCdYdXV1100sin/0cot100ddvuuyxvfuffvu齐次坐标形式:其中dyfdxfvu1,11100sin/0cot100ddKvuuyxvfuffvu摄像机的内参数矩阵K线性摄像机成像模型1010000000011cccczyxffzyx1100sin/0cot100yxvfuffvuvuu110100000000100sin/0cot130011013图像物理坐标系图像像素坐标系摄像机坐标系世界坐标系图像像素坐标系世界坐标系最终得到：这是忽略畸变的线性成像模型传统的摄像机标定方法特点要求摄像机标定块，算法复杂，精度高直接线性变换（DLT变换）DLT:DirectLinearTransformationAbdal-Aziz和Karara于70年代初提出了直接线性变换像机定标的方法，他们从摄影测量学的角度深入的研究了像机图像和环境物体之间的关系，建立了像机成像几何的线性模型，这种线性模型参数的估计完全可以由线性方程的求解来实现。DLT变换直接线性变换是将像点和物点的成像几何关系在齐次坐标下写成透视投影矩阵的形式：DLT变换1143其中为图像坐标系下的点的齐次坐标，为世界坐标系下的空间点的欧氏坐标，为的透视投影矩阵，为未知尺度因子。1,,vuDLT变换0034333231142322213433323114131211upuZpuYpuXppZpYpXpupuZpuYpuXppZpYpXp消去，可以得到方程组:s当已知个空间点和对应的图像上的点时，可以得到一个含有2*个方程的方程组：DLT变换0AL其中为的矩阵，为透视投影矩阵元素组成的向量。12*2NLATpppppppppppp343332312423222114131211,,,,,,,,,,,NNDLT变换像机定标的任务就是寻找合适的，使得为最小，即||||ALL||||minALL给出约束：134pBCCCLTT1')(为的前11个元素组成的向量，为前11列组成的矩阵，为第12列组成的向量。LCABA'LDLT变换134p是否合理？约束不具有旋转和平移的不变性,解将随着世界坐标系的选取不同而变化.134p证明：世界坐标系作刚性坐标变换10'tRPP则34333232131'34ptptptpp显然在一般的情况下'3434pp另一个约束具有旋转和平移的不变性1233232231pppDLT变换1coscoscos322212由1321R3P3R2R312111,,rrr332313,,rrr322212,,rrr),,(333231ppp向量,,是两两垂直的单位向量1R2R3RR.Tsai的RAC的定标算法80年代中期Tsai提出的基于RAC的定标方法是计算机视觉像机定标方面的一项重要工作，该方法的核心是利用径向一致约束来求解除（像机光轴方向的平移）外的其它像机外参数，然后再求解像机的其它参数。基于RAC方法的最大好处是它所使用的大部分方程是线性方程，从而降低了参数求解的复杂性，因此其定标过程快捷，准确。简介zt•像机模型•径向一致约束•定标算法主要内容cocxcy'ouyuxczOwywzwx世界坐标系和摄像机坐标系的关系TzyxRzyx像机模型ccczyxM,,cY1OcXuYuuyxp,uXcZO摄像机坐标系和图像坐标系的关系ccuccuzyfyzxfx,像机模型理想图像坐标到实际图像坐标的变换（只考虑径向偏差）udddduddddyyxykyxyxxkx)()(221221像机模型从实际图像坐标到数字图像坐标的变换0101,vydvuxdsudydxx0uc1OdxdYdXdyuvm0v像机模型径向一致约束wYwOwZwXozPPcZdPuPcO1ocYuxuycX径向一致约束:PPPOozd//1定标算法1.利用径向一致约束来求解和yxttR,,xs定标步骤:2.求解有效焦距、方向上的平移和畸变参数fz1k定标算法——步骤一1.求解外像机参数旋转矩阵和、方向上的平移Rxy由一个空间点和其图像投影点,根据径向一致约束性可以得到下面的方程wiwiwiZYX,,fifiyx,PPPOozd//1'6151411312111'''''''diTyyyxxyxyxyxywididiwididiwidiwidiwidixrtrtrttstrstrstrstZxYxXxyZyYyXywi其中)(),(''yiydixixdicvdycudx定标算法——步骤一如果得到一系列数目大于7个的标志点和它们的对应投影图像点，就变成了一个过限制方程组，可以由最小二乘法解出以下的7个变量61751641514313212111,,,,,,rtartartatstarstarstarstayyyxxyxyxyxy2.计算||yt1262524rrr由||yt21272625aaa定标算法——步骤一3.确定xs1232221rrr由，xs||21232221ytaaa4.计算旋转矩阵和，并确定的符号Rxtyt先假定取正号，由以下的公式可以计算出旋转矩阵和xtRyyyxyxyxytartartarstarstarstar766554332211,,,/,/,/xyxstat/4定标算法——步骤一取世界坐标系中任一标志点,则可以计算出其在wiwiwiZYX,,像机坐标系中的坐标ywiwiwicixwiwiwicitZrYrXrYtZrYrXrX654321,同时取这个坐标点在图像上的投影点)(),(1yfiydixfixxdiCydxCxdsx在实际像机系统中，应该和同号，如果计算出两者异号，dixciXyt则取为负号。最后求解987,,rrr425196143853627,,rrrrrrrrrrrrrrr定标算法——步骤二对于一个标志点，可以得到以下的两个方程zwiwiwiywiwiwididididizwiwiwixwiwiwididididitZrYrXrtZrYrXrfyxkyytZrYrXrtZrYrXrfyxkxx987654221987321221)()(1当不存在径向畸变时，。01k)()()()(987654987321wiwiwidiywiwiwizdiwiwiwidixwiwiwizdiZrYrXrytZrYrXrftyZrYrXrxtZrYrXrftx21式变为式2定标算法——步骤二对于一系列的标志点，则形成了一个超定的方程组，可以用线性最小二乘法求出和。ztf当存在径向畸变时，仍应用式求出和的初始值，然后2ztf将求出的和连同作为条件，对式进行非线性优化，01k1ztf估计出、和的真实值。ztf1k张正友的平面标定方法0,,YXMcXcZcYvum,wXwZwYwOO张正友的平面标定方法基本原理：1][10][121321YXtrrKYXtrrrKvus•在这里假定模板平面在世界坐标系的平面上•其中，为摄像机的内参数矩阵，为模板平面上点的齐次坐标，为模板平面上点投影到图象平面上对应点的齐次坐标，和分别是摄像机坐标系相对于世界坐标系的旋转矩阵和平移向量KTvum]1[~TYXM]1[~t][321rrr0ZMHms~~其中][][21321trrKhhhH0211hKKhTT212111hKKhhKKhTTTT