摄像机标定

数字图像处理——摄像机标定李**1、工业元件尺寸测量系统2、基于机器视觉的四轮定位系统3、数字博物馆虚拟体验标定有什么用？标定什么？外参1、物距2、角度内参1、像素2、焦距3、图像原点4、畸变一、综述（一）什么是摄像机标定在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立摄像机成像的几何模型,这些几何模型参数就是摄像机参数。在大多数条件下这些参数必须通过实验与计算才能得到，这个求解参数的过程就称之为摄像机标定。（二）摄像机标定的意义无论是在图像测量或者机器视觉应用中，摄像机参数的标定都是非常关键的环节，其标定结果的精度及算法的稳定性直接影响摄像机工作产生结果的准确性。因此，做好摄像机标定是做好后续工作的前提，是提高标定精度是科研工作的重点所在。（三）摄像机标定的目的是利用给定物体的参考点坐标（x，y，z）和它的图像坐标（u，v）来确定摄像机内部的几何和光学特性（内部参数）以及摄像机在三维世界中的坐标关系（外部参数）。内部参数包括镜头焦距f，镜头畸变系数（k、s、p），坐标扭曲因子s，图像坐标原点（u0，v0）等参数。外部参数包括摄像机坐标系相对于世界坐标系得旋转矩阵R和平移向量T等参数。二、摄像机标定涉及到的坐标系（一）图像像素直角坐标系摄像机采集图像后以标准电视信号的形式输入计算机，在计算机中以M×N矩阵(M行N列的图像中的每一个元素的数值被称为图像点的灰度)保存。在图像上定义图像像素直角坐标系(Ot,u,v)，每一个像素的坐标(u,v)分别表示该像素在数组中的列数与行数。vuxyv（二）图像物理坐标系(O1,X,Y)由于像素直角坐标系中(u,v)只表示像素位于数组中的列数与行数，并没有物理单位表示出该像素在图像中的位置，因此需要建立以物理单位表示的图像物理坐标系(O1,X,Y)。(三)物理坐标系与像素坐标系转换如图若O1在u，v坐标系中的坐标为（u0，v0），每一个像素在x轴与y轴方向上的物理尺寸为dx，dy则图像中任意一个像素在两个坐标系下的坐标有如下关系：0xuudx0yvvdy上式可表示为下面的矩阵：(四)摄像机坐标系、世界坐标系摄像机坐标系是由点OC与XC、YC和ZC轴组成的直角坐标系(OC点称为摄像机的光学中心，简称光心),XC、YC和x轴y轴平行，ZC轴为摄像机的光轴，它与图像平面垂直，光轴与图像平面的交点，即为图像坐标系的原点，OcO1为摄像机焦距。世界坐标系(Ow,Xw,Yw,Zw)是一个基准坐标系，用于描述摄像机放置在拍摄环境中的位置和被拍摄物体的位置。上式可表示为下面的矩阵：摄像机坐标系：O-XcYcZc图像坐标系：O1-XY根据三角形相似原理，有cczyfycczxfx(五)摄像机坐标系与图像坐标系转换of),(yxmcYcXcZ1OYX),,(ccczyxM(六)摄像机坐标系与世界坐标系转换1.坐标变换常用的坐标变换包括：平移、旋转、尺度变换等。包含两方面的含义：坐标系不变二原坐标点变换；原坐标点不变而坐标系发生变换。（1）平移变换用平移量将具有坐标为的点平移到新的位置：000(,,)XYZ(,,)XYZ2.尺度缩放用沿轴进行缩放变换可用下列矩阵实现:,,xyzSSS,,XYZ0000000000001xyzssss同理有点绕X轴旋转α角，和点绕Y轴旋转β角的变换矩阵：一个完整的坐标旋转变换，包括绕x、y和z轴的旋转，可得旋转变换矩阵RRRR摄像机坐标系向世界坐标系的变换，包括X、Y轴和Z轴的旋转以及坐标平移，故根据以上坐标变换知识可得摄像机坐标系和世界坐标系的齐次坐标系变换矩阵：其中R中各个参数r1…r9可由旋转变换矩阵得到，且只含有α、β和γ三个参数三、摄像机针孔模型透镜成像原理：物距μ，焦距f，相距v三者之间满足如下关系111fuv一般情况下uf所以vf即相距与焦距相近ccccfxxzfyyz空间中任何一点Pw在图像上的成像位置可以用针孔模型近似表示，即任何点Pw在图像上的投影位置p，为光心Oc与Pw点的连线OcPw与图像平面的交点。由三角形相似性可知：000000100101ccccXxfYZyfZ使用其次坐标和矩阵表示可写为：根据以上论述可知世界坐标系表示的Pw点坐标与其投影点p的坐标(u,v)的对应关系为：000000100101ccccXxfYZyfZ四、摄像机镜头畸变由于摄像机物镜系统设计、制作、装配所引起的像点偏离其理想位置点位误差称为光学畸变，如下图所示：1、径向畸变、偏心畸变光学畸变分为径向畸变和偏心畸变。径向畸变像点沿径向方向偏离标准理想位置；偏心畸变使像点沿径向方向和垂直径向方向偏离理想位置，径向畸变称为非对称径向畸变，垂直径向方向的畸变称为切向畸变。2、畸变误差数学模型光学镜头径向曲率的变化是引起径向畸变的主要原因，这种变形会使得图像点沿径向移动，离中心点越远其变形的位移量越大。对于图像的径向畸变，通常采用多项式拟合算法，假设图像中的像素点理想的坐标为(Xd,Yd),畸变后坐标为(Xr,Yr),则:246242161323()()rdrdXxrrrYyrrkkkkrkk22ddrxy01niiirkr式中22ddrxy220rrrxyKi为畸变系数由于径向畸变只跟像素点离图像中心的距离有关，因此在直角坐标系中有：drdrxxyy将该式带入上式得：xyoxdxrydyr由于镜头装配误差，组成光学系统的多个光学镜头的光轴不可能完全共线，从而引起偏心畸变，这种变形是由径向变形分量和切向变形分量共同构成，其数学模型为：12222122(3)22(3)ddddddddddXxyxyYppxyxypp薄棱镜畸变是指由光学镜头制造误差和成像敏感阵列制造误差引起的图像变形，这种变形是由径向变形分量和切向变形分量共同构成，其数学模型为：222221()()pddpddsXxyYxys五、传统的摄像机标定技术线性标定方法非线性优化标定方法两步标定法Tsai的经典两步法张正友的标定方法摄像机标定技术优点：运算速度快缺点：标定的精度不高优点：标定精度高缺点：模型复杂计算量过大优点：参数求解简易缺点：标定成本高(一)线性标定方法121CwwuZvMMXMX将写成如下形式：11121314212223243132333411wwCwXummmmYZvmmmmZmmmm整理消去cZ得到两个关于ijm的线性方程：11121314313233342122232431323334++求解过程1.求解思想2.具体步骤1.已知像素坐标，将mij看作未知数，则共有12个未知数2.每个标定点对应两个方程3.假设m34=1，那么共有11个未知数1.选取n（n≥6）个标定特征点，得到其关于11个未知数的超定方程2.最小二乘法求解3.分解得到的变换矩阵(二)非线性标定方法当镜头畸变明显时必须要引入畸变模型，将线性标定模型转化为非线性标定模型，通过非线性优化的方法求解摄像机参数。求解方法拟线性化方法完全非线性法最速下降法高斯牛顿法Levenberg-Marquard算法神经网络算法遗传算法神经网络算法遗传算法(三)两步标定法1.Tsai的经典两步法概念：Tsai基于RAC约束（RadialAlignmentConstrain）提出的两步法，在求解过程中将CCD（电耦合器件）阵列感光元的横向间距和纵向间距当作已知参数，求解的摄像机内部参数：有效焦距f；镜头径向畸变系数k1,k2；非确定性尺度因子xs；图像中心或主点u0,v0。外部参数：世界坐标系与摄像机坐标系之间的旋转矩阵R与平移向量t。求解：首先利用最小二乘法求解超定线性方程组，求得模型外部参数；然后求解内部参数，如果摄像机无透镜畸变，可通过一个超定线性方程组解出，如果存在一个以二次多项式近似的径向畸变，则利用一个包含三个变量的目标函数进行优化搜索求解。2.张正友的标定方法0,,YXMcXcZcYvum,wXwZwYwOO方法的要求：摄像机在两个以上不同的方位拍摄一个平面靶标；标定过程中摄像机内参保持不不变标定板单应性矩阵：1][10][121321YXtrrKYXtrrrKvus•在这里假定模板平面在世界坐标系的平上•其中，K为摄像机的内参数矩阵，为模板平面上点的齐次坐标，为模板平面上点投影到图象平面上对应点的齐次坐标，和t分别是摄像机坐标系相对于世界坐标系的旋转矩阵和平移向量。0ZTYXM]1[~Tvum]1[~][321rrrMHms~~其中][][21321trrKhhhH0211hKKhTT212111hKKhhKKhTTTT根据旋转矩阵的性质，即和，每幅图象可以获得以下两个对内参数矩阵的基本约束由于摄像机有5个未知内参数，所以当所摄取得的图象数目大于等于3时，就可以线性唯一求解出H。021rrT121rr求解摄像机模型参数令：经过推导可得：有：非线性最优化摄像机参数由于图像噪声等因素的影响，上述过程求得的CCD摄像机参数与真实值之间还存在着差距。因此，需要对所有的摄像机参数进行最优化求解，优化目标函数为：其中，是由世界坐标点M通过摄像机成像模型投影得到的,是通过角点检测得到的像素坐标点。参考文献[1]马颂德,张正友.计算机视觉-计算理论与算法基础[M].北京：科学出版社,1998.[2]DVision,WHFreeman,CompanySanFrancisco.中译本：视觉计算理论，姚国正，刘磊，汪云九译，科学出版社，1988.[3]钟玉琢,乔秉新,李树青.机器人视觉技术[M].北京：国防工业出版社,1994.[4]蔡自兴.机器人学[M].北京:清华大学出版社,2003.[5]贾云得.机器视觉[M].北京:科学出版社,2000.[6]章毓晋.图像工程[M].北京:清华大学出版社,1999.[7]郑南宁.计算机视觉与模式识别[M].北京：国防工业出版社,1998.[8]吴立德.计算机视觉[M].上海：复旦大学出版社,1993.[9]朱正德,谈“机器视觉”在汽车制造业中的应用，中国测试技术，2006，32（5）：22-25[10]WAPerkins.INSPECTOR：AComputervisionsystemwhichlearntoinspectparts[J].IEEETrans，PAMI-5，pp：584-592.[11]WSWilson.Theroleofvisioninadimensionalcontrolstrategy[J].Proc.oftheSocietyofManufacturingEngineersConf,onVisionSection7,1985,pp：43-55.[12]刘常杰,邾继贵,杨学友等.汽车白车身在线激光视觉检测站[J]，仪器仪表学报，2004，25（4）：671-672[14]陈向伟.机械零件计算机视觉检测关键技术的研究[D].吉林大学,2005