基于鱼眼镜头的全方位视觉参数标定与畸变矫正

第44卷第5期2011年5月天津大学学报JournalofTianjinUniversityVol.44No.5May2011收稿日期：2009-11-27；修回日期：2010-05-05.基金项目：国家高技术研究发展计划(863计划)资助项目(2007AA04Z229)；国家科技部中芬国际合作资助项目(2006DFA12410).作者简介：冯为嘉（1983—），男，博士研究生，[e-mail]．通讯作者：张宝峰，[e-mail].▋基于鱼眼镜头的全方位视觉参数标定与畸变矫正冯为嘉1，张宝峰2，曹作良2(1.天津大学精密测试技术及仪器国家重点实验室，天津300072；2.天津理工大学天津市复杂工业系统控制理论及应用重点实验室，天津300384)摘要：针对利用鱼眼镜头构建的全方位视觉系统研究内外部参数标定及图像畸变矫正方法，建立成像系统模型，提出成像系统中需要标定的内、外部参数；采用改进的线性标定法标定图像中心，研究径向畸变系数及其他参数的标定方法；在参数标定的基础上，分别利用等距投影和支持向量机训练方法，对图像中的像素点及整幅鱼眼图像进行畸变矫正．实验证明，研究的标定方法可准确地标定出视觉系统的内外部参数；基于等距投影的像素点矫正可应用于精确定位视觉系统的空间位置；基于支持向量机训练方法的全图像畸变矫正可获得理想的鱼眼图像矫正效果，所提出的参数标定和畸变矫正方法将有利于与鱼眼镜头在机器视觉领域的应用．关键词：全方位视觉；鱼眼镜头；参数标定；畸变矫正；支持向量机中图分类号：TN247文献标志码：A文章编号：0493-2137(2011)05-0417-08Omni-DirectionalVisionParameterCalibrationandRectificationBasedonFish-EyeLensFENGWei-jia1，ZHANGBao-feng2，CAOZuo-liang2(1.StateKeyLaboratoryofPrecisionMeasuringTechnologyandInstruments，TianjinUniversity，Tianjin300072，China；2.TianjinKeyLaboratoryforControlTheoryandApplicationsinComplicatedIndustrySystems，TianjinUniversityofTech-nology，Tianjin300384，China)Abstract：Aparametercalibrationandrectificationmethodforomnidirectionalvisionsystembasedonfish-eyelenswasinvestigatedinthispaper.Animagingsystemmodelwasestablished,whichindicatedtheinteriorandexteriorparameters.Theopticcenterwascalibratedbyanimprovedlinearizationmethod,andtheotherparameterssuchastheradialdistortionparameterskx,kyareanalyzedtoo.Onthisbasis,theimportantpointandfish-eyelensimagewillberectifiedbytheequidistanceprojectiontheoremandsupportvectormachinetraining,respectively.Theexperimentsprovethattheinteriorandexteriorparameterscanbecalibratedaccuratelyutilizingthecalibrationmethodsproposed.Theimportantpointrectificationmethodbasedonequidistanceprojectiontheoremcanbeusedtocalculatethepreciselocalizationforvisionsystem.Anidealrectificationimagecanbeachievedbyusingsupportvectormachinetraining.Thisresearchwillbebeneficialtotheextensionoffish-eyelensinthefieldofmachinevision.Keywords：omni-directionalvision；fish-eyelens；parametercalibration；rectification；supportvectormachine全方位视觉一次拍摄可摄取360°方位角中的全部景物，这一特性非常有利于多目标捕获、机动目标跟踪，尤其对移动机器人的视觉导航具有特殊的意义．近年来利用全方位视觉传感器构建全方位视觉系统得到了广泛地研究[1-3]，全方位视觉传感器虽然可以在一次拍摄中捕获水平方向360°的全部信息，但是在垂直方向有一定的视场限制，且镜头本身将会出现在拍摄的图像中造成盲区．笔者利用鱼眼镜头构建全方位视觉系统在捕获360°方位角信息的同时可兼顾天顶185°半球域视场．鱼眼镜头存在的光学·418·天津大学学报第44卷第5期偏差以及镜头与相机的装配误差，往往造成图像中心偏离成像芯片靶面中心等误差，因此需要对成像系统进行标定以确定图像中心坐标和其他成像系统参数[4-5]．在建立成像系统模型的基础上提出需标定的系统内、外部参数，对传统的线性标定方法进行改进，设计适合于鱼眼镜头标定的新型靶标和标定方法，为畸变矫正奠定基础．国内外学者对鱼眼图像畸变矫正和图像复原算法进行了大量研究[6-8]，目前常见的鱼眼镜头矫正模型有球面模型、对数极限模型、多项式变换模型等．不同光学结构的镜头适合于不同的矫正模型，通常为不同类型鱼眼镜头选择适合的矫正模型是较为困难的．笔者利用等距投影定理及支持向量机训练的方法分别实现了对鱼眼图像中的像素点和整幅图像的畸变矫正，取得了理想的效果．1成像系统模型图1为成像系统模型．本文建立的成像系统模型包括世界坐标系(xw，yw，zw)，鱼眼镜头坐标系(x，图1成像系统模型Fig.1Modelofimagingsystemy，z)，摄像机坐标系(x'，y'，z')，图像坐标系(i，c)，成像平面坐标系(u，v)．其中p为世界坐标系中一点，OO′为光轴，h为p点到镜头表面的距离，r为p到镜头中心O的水平距离，ω为p点相对镜头中心的入射角(仰角)，θ为p点在摄像机坐标系中的方位角，p′为p在成像面上的像点，r为像点离图像中心点O′的距离(径向距离)，θ'为像点在图像物理坐标系中的方位角．根据等距投影定理，O′为鱼眼图像的中心点(u0，v0)，(u，v)为成像点p′在成像面中的像素坐标，它们之间的关系为rKω=(1)2成像系统参数标定本文研究与鱼眼图像畸变矫正相关的图像中心点、镜头表面到成像点距离l、径向畸变系数kx和ky4个参数的标定方法．2.1图像中心标定世界坐标系与摄像机坐标系变化为w111213ww212223ww313233wxyzxxrrrxtyyrrrytzzrrrzt′⎡⎤⎡⎤⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥′=+=+⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥′⎣⎦⎣⎦⎣⎦⎣⎦⎣⎦RT(2)世界坐标系与图像坐标系变换关系为()()011w12w13w31w32w33w021w22w23w31w32w33wxxzyyzuudrxryrztxffrxryrztvvdrxryrztyffrxryrzt⎧−+++==⎪+++⎪⎨−+++⎪==⎪+++⎩(3)式中：(u0，v0)是像素中心坐标；dx和dy分别为一个像素在x轴与y轴方向上的物理尺寸，而1/,xxsd=1/yysd=即单位长度的像素个数．由于鱼眼镜头的“桶形”畸变量比较大，无法直接使用传统的线性标定方式，因此根据鱼眼镜头的成像模式建立简单的直接以视场角为参数的成像模型，假设偏心畸变、薄棱镜畸变、正交畸变为0，在仅考虑径向畸变和内方位元素误差的情况下，利用类似与线性标定的方法，同时解算外部参数和成像模型内部参数．根据等距投影定理式(1)和坐标系转换公式(2)和式(3)组成方程为()()22111213212223313233234512345arctaniiixiiiyiiizrxryrztrxryrztrxryrztrkkkkkωωωωωω⎧⎛⎞+++++++⎪⎜⎟=⎪⎜⎟+++⎨⎜⎟⎝⎠⎪⎪=+++++⋅⋅⋅⎩2011年5月冯为嘉等：基于鱼眼镜头的全方位视觉参数标定与畸变矫正·419·22dddrxy=+(4)式中：rd为标定点成像点距图像传感器中心的距离；(xd，yd)为标定点所成像点的图像传感器坐标，xd＝(u-u0)dx，yd＝(v-v0)dy．以上公式表达了径向尺寸约束，另外还有径向排列约束为ccdd//xyxy=(5)111213d212223diiixiiiyrxryrztxrxryrzty+++=+++(6)联立径向尺寸约束(4)和径向排列约束(6)，就可以组成包含外参数(旋转矩阵和平移矩阵)和内部参数(径向成像模型参数)的方程组，只要给定比较接近的初始值便可以求解合理的参数值[9]．实验平台及采集到的鱼眼图像如图2和图3所示．根据靶标上的24个基准圆建立世界坐标系，结合采集图像中提取出的这些基准圆圆心的图像坐标，即可建立包含摄像机位姿旋转矩阵、平移矩阵的非线性方程组，通过旋转矩阵约束关系，利用最小二乘拟合算法解算出旋转矩阵和平移矩阵，及待求的像面中心．实验步骤如下：步骤1利用CAD制图软件设计靶标，在预定的位置绘制24个圆，用来构建世界坐标系；步骤2将鱼眼镜头摄像机固定在光学平面上，镜头摆放的角度无特殊要求；步骤3在镜头前放置直线位移平台，其上固定着靶标，靶标面垂直于平台的直线位移方向，但靶标与镜头的位置无特殊要求；步骤4采集图像，保证图像包含所有标定圆；步骤5利用直线位移平台使靶标水平移动固定距离L，按步骤4要求再采集1幅图像，重复此步骤，获取多幅图像；步骤6利用求质心方法获得每个圆的圆心坐标．图2鱼眼镜头标定实验平台Fig.2Experimentalenvironmentofcalibration图3标定实验中采集的原始图像Fig.3Originalimageincalibrating考虑到鱼眼图像的剧烈畸变，边缘的基准圆将畸变为椭圆，为了提高标定的精度，在实验中采用每幅图像中间部分的4个基准圆准确地提取出圆心的位置．从图3中提取出部分基准圆圆心的图像坐标如表1所示．利用上述坐标数据可以解算出旋转矩阵R和平移矩阵T分别为0.15640.06060.99220.00410.99810.06070.98770.00550.1563−⎡⎤⎢⎥=⎢⎥⎢⎥−⎣⎦R[303.85723.735267.1150]=−T求得u0＝381，v0＝290．表1基准圆圆心图像坐标与世界坐标Tab.1ImagecoordinateandworldcoordinatesfortheTab.1centreofbasiccircle图像坐标x值图像坐标y值世界坐标x值世界坐标y值276.670193.072500333.385188.9271000396.242190.6671500452.789198.7082000225.008263.580060327.774262.54910060396.520264.23315060457.403267.44320060根据解算出的旋转矩阵R、平移矩阵T、像面中心(u0，v0)，结合已建立的包含摄像机位姿旋转矩阵、平移矩阵的非线性方程组，以及旋转矩阵约束关系，利用采集得到的一组基准圆的圆心图像