计算机视觉中的多视图几何第五章-摄像机几何和单视图几何

摄像机几何和单视图几何摄像机的定义：在这里我们说摄像机是3D世界和2D图像之间的一种映射。摄像机模型的分类：主要分成有限中心的模型和“无穷远”中心的模型。5.1有限摄像机我们从最具体和最简单的摄像机模型即针孔摄像机开始。基本针孔模型光心：投影中心称为摄像机中心。主轴（主射线）：摄像机中心到图像平面的垂线主点：主轴与图像平面的交点。主平面：过摄像机中心平行于图像平面的平面。图像平面（聚焦平面）：空间点到中心投影到平面Z=f，f为焦距。可见5.1式是从3维空间到2维空间的一个映射。在针孔摄像机模型下，令投影中心位于一个欧氏坐标的原点，空间点被映射到图像平面上点可写成下式：Tz)y,(x,XTf)fy/z,(fx/z,Tz)y,(x,Tfy/z)(fx/z,（5.1）用齐次坐标表示中心投影如果用齐次坐标表示世界点和图像点，则中心投影可以简单的表示成齐次坐标间的线性映射，即5.1式可表示为：1ZYX0001ffZfYfX1ZYX（5.2）主点偏置：前面的（5.1）式我们假定图像平面的坐标原点在主点上。实际情况可能不是这样，因此一般情形的映射为TyxT)pfY/Z,p(fX/ZZ)Y,(X,其中是主点的坐标.我们可以齐次的表示为：Tyx)p,(p1ZYX0001ffZfYfX1ZYXyxyxppZpZp（5.3）pyxcamycamx0y0x图5.2图像坐标系和摄像机坐标系Tyx),(Tcamcamyx),(若记1yxpfpfK（5.4）矩阵K陈为摄像机标定矩阵。则（5.3）式有个简洁的形式camXI/0KxcamTXZ,1)Y,(X,为矩阵K称为摄像机标定矩阵。在（5.5）中记是为了强调摄像机被设定在一个欧氏坐标系的原点且主轴沿着Z轴的指向，而点按此坐标系表示。这样的坐标系可以称为摄像机坐标系。（5.5）camX摄像机旋转与位移世界坐标系：空间点采用不同的欧氏坐标系表示摄像机坐标系：摄像机中心在原点切主轴方向沿Z轴的指向。旋转与平移标下可以写成：次坐的方位，这个方程在齐阵，表示摄像机坐标系的旋转矩是一个坐标，机中心在世界坐标系的表示摄像，其中那么我们可以记同一点，是以摄像机坐标表示的一点的坐标，而界坐标系中的维非齐次矢量，表示世是一个如果3*3~~~~~3~RC）CXR（XXXcamcamX10CRR1ZYX10CRRXTTcam~~（5.6）ozYXcamYcamXcamZR,t图5.3世界和摄像机坐标架之间的欧氏变换把5.5和5.6结合起来形成公式XCI/KRx~（5.7）我们看到一个摄像机有9个自由度：3个来自K，3个来自R,3个来自C。包含在K中的参数称为摄像机内部参数或摄像机的内部校准。在R和C中的参数与摄像机在世界坐标的方位和位置有关称为外部参数。CI/KRP~R/tKP为了方便，通常不把摄像机中心明显标出，此时摄像机矩阵可以写成（5.8）其中，CRt~CCD摄像机之前的针孔摄模型假定图像坐标在两个轴上有等尺度的欧氏坐标。但CCD摄像机的像素可能不是正方形。所以，我们引入在x和y方向上图像坐标单位距离的像素分别是mx和my。CCD的摄像机标定矩阵的一般形式是1yαxαoy0xK（5.9）其中和同理，我们用像素量表示主点，它的坐标为和xxfmαyyfmαxxpmx0yypmy0有限摄像机为了增加一般性，我们可以考虑形如1yαxsαoy0xK（5.10）增加的参数，s称为扭曲参数。对大多数标准的摄像机来说，其扭曲参数为零。CI/KRP~（5.11）一个摄像机的标定矩阵K取（5.10）的形式时称为有限射影摄像机。一个有限射影摄像机有11个自由度。的第四列。是子矩阵，的左边是其中，写成我们也可以把PMpMIM441p3x3P/P~CI/KRP5.2射影摄像机一般射影摄像机P按公式x=PX吧世界点X映射到图像点x。摄像机中心摄像机中心C是P的一维右零空间，即PC=0.（1）有限摄像机（M非奇异）（2）无穷远摄像机（M奇异）列点对与i=1,2,3,列矢量pi分别对应于X,Y,Z轴的在图像上的消影点.列P4是坐标原点的图像。主平面摄像机的主平面是P的最后一行。轴平面平面和表示空间中过摄像机中心的平面，分别对应于映射到图像上直线x=0和y=0的点。主点图像点是摄像机的主点，其中是M的第三行。主射线摄像机的主射线是过中心C而方向矢量为的射线。主轴矢量指向摄像机的前方。1pMC410.矢量，即Md其中，d是M的3维中0dC3P1P2P30Mmx3Tm3Tm3det(M)mv5.2.1摄像机构造摄像机中心矩阵P有一个1维右零空间，因为它有4列而秩是3.假定C是零空间，即PC=0。下面我们证明C是用齐次4维矢量表示的摄像机中心。考察包含C和3维空间中任何一点A的直线。该直线上的点可以表示为CAX)1()(在映射x=PX下，此直线上的点被投影到PAPCPAPXx)1()(之所以到最后一步是因为PC=0。上式表明直线上的所有点都被映射到同一个图像点PA，因而该直线必是过摄像机中心的一条直线。由此推出,C是摄像机中心的齐次表示。列矢量射影摄像机的列是3维矢量，他们的几何涵义是特殊的图像点。记P得列为Pi，i=1,2,3,4，那么p1，p2，p3分别表示世界坐标X,Y,Z轴的消影点，因为这些点是轴方向的图像。例如X—轴的方向D=（1,0,0,0）T，被映像到P1=PD。列P4是世界原点的图像。行矢量射影摄像机的行是4维矢量，在几何上解释成特殊的世界平面。我们引入P的行记号，因而iTP3t2T1T342414332313322212312111PPPppppppppppppP主平面主平面是过摄像机中心并平行于图像平面的平面。它由被影像到图像上无穷远直线的点集X组成。也就是。因此一个点在摄像机主平面上的充要条件是。换句话说，是摄像机主平面的矢量表示。Ty,0x,PX0XP3T3P轴平面考察在平面上的点集X。该集合满足，因此被影像到图像处，它们是图像y—轴上的点。此外由和，因而C也在平面上。其结果是平面由摄像机中心和图像中的直线x=0来定义的。类似的，平面由摄像机中心和直线y=0来定义。1P0XP1TTPXwy,,00CP1T0PC1P1P2P主点主轴与图像平面交于主点。一般来说平面的法线是一个矢量。它也可以表示无穷远平面上的一个点。在摄像机的主平面为时，该点是，我们把它记作。该点被摄像机矩阵P投影到摄像机的主点。Tπ4321,,,Tπ321,,Tπ0,,,3213PT0,,,333231ppp3ˆP3ˆPP主轴矢量3det(M)mv是在主轴方向上指向摄像机前方的矢量。5.2.2射影摄像机对点的作用正向投影一般的射影摄像机根据映射x=PX把空间的一个点X映射到一个图像点。在无穷远平面上的点表示消影点。这些点映射到TTD)0,(dMdDM/pPDx4因而仅受P的前3*3子矩阵M的影响。5.2.3点的深度下面，我们考虑在摄像机主平面前或后的一个点离主平面的距离。设摄像机矩阵，把3维空间的点投影到图像点TTT,1)X(Z,1)Y,(X,X~4M/pPPX,1),(Tyxwx在主轴方向上的深度。到点中心可以解释成：从摄像机则向正轴向的单位矢量。是指那么且化使得果摄像机矩阵已被归一主射线方向的点乘。如的射线与心和点可以解释成过摄像机中是主射线方向，因此其中但是为摄像机中心。那么令XCwmmXCXmwmCXmCXPCXPXPwTTTTT33333333,10detM)~~(),~~()(),(~T,1)C(CCX3m3mX结论5.1令点X的深度图那么，假定是一个有限摄像机矩阵点而是一个.)1,,(Z,1)Y,(X,Xp/3Z,1)Y,(X,XT4TTyxwPMPD3mTwsign(detM)P)depth(X;是在摄像机主平面前方的点X的深度。（5.15）5.3无穷远摄像机考虑中心在无穷远平面上的摄像机。它意味着摄像机矩阵P的左边3*3子矩阵是奇异的。与有限摄像机一样，摄像机中心可由PC=0求得。无穷远摄像机可以大致分为两种不同的类型：仿射摄像机和非仿射摄像机。定义5.3仿射摄像机是矩阵P的最后一行）的摄像机。形如（1,0,0,03P之所以称它为仿射摄像机是因为无穷原点被它映射为无穷远点。5.3.1仿射摄像机设想当我们采用后退并放大的电影摄影技术使感兴趣的物体始终保持同样大小的图像时会发生什么情况？CrCrCrrrrKCI/KRP3T2T1T3T2T1T0~~~~我们先从有限射影摄像机开始。该摄像机矩阵可以写成：其中是旋转矩阵的第i行。该摄像机主射线与矢量同方向，而数值是世界原点到摄像机中心在主射线方向上的距离。iTriTr3rCrd3T0~现在，我们考虑如果摄像机在一段时间t内以单位速度沿主射线向后移动，并使摄像机中心移到时的情况，此时的摄像机矩阵为：3trC~t2T1T3T2T1T3T2T1T3T2T1TdCrCrrrrKCrCrCrrrrKP~~)~()~()~(333trtrtrt其中因为R是旋转矩阵，所以项当i=1,2时为零。标量是世界原点相对于摄像机中心在摄像机主射线方向的深度。因此3iTrrttCrd3T~3r沿主射线跟踪的效果是将（3,4）元素用世界原点到摄像机中心的深度替代。（5.16）（5.17）下一步，使摄像机的焦距增加一个因子k，使图像放大一个因子k。然后合成跟踪和变焦的效应。假定使图像大小保持不变的放大因子是。由（5.17）得出在时间t所产生的摄像机矩阵是0t/ddk02T1Tt03T2T1T0tt2T1T3T2T1T0t0ttdCrCr/ddrrrKdddCrCrrrr1/dd/ddKP~~~~其中因子系数可以忽略。当t=0时摄像机矩阵对应于（5.16）。而当t趋于无限大时，该矩阵变为：02T1TT2T1TttdCrCr0rrKPlimP~~它把原来的摄像机变成了仿射摄像机。（5.18）5.3.2应用仿射摄像机的误差Cf弱透视透视X0d透视与弱透视投影之间的误差