三维视觉基础介绍

三维视觉基础介绍吴毅红中国科学院自动化研究所模式识别国家重点实验室主要内容1.绪言2.景物的成像过程3.三维重建的目的、过程4.射影几何学简介绪言计算机视觉是研究用计算机来模拟人和生物的视觉系统功能的技术学科.目标:让计算机能够感知周围视觉世界,了解它的空间组成和变化规律.传感、抽象、判断、识别、理解马尔视觉理论：三维重建是人类视觉的主要目的，也是计算机视觉的核心研究任务之一。从二维图像出发，将物体回推到三维空间中这是个什么过程？这个过程如何表述？是否可计算？如何计算？物体三维形状二维图像？1.景物的成像过程针孔摄像机成像平面摄像机坐标系ZXYOMm带镜头的摄像机：薄透镜；鱼眼镜头；反射镜面鱼眼镜头反射折射镜针孔相机蝇眼图像picasaweb.google.com/lh/photo/O7...prettyshing.pixnet.net/blog/cate...(a)(b)(c)(d)(e)(f)(g)(h)几种全向摄像机鱼眼镜头OmMXOcm0球面成像过程Ou摄像机坐标系xyv图像坐标系cXcZcY1O世界坐标系wXwZwYwO1、世界坐标系：2、摄像机坐标系：3、图像坐标系:vu,yx,说明：为了校正成像畸变用理想图像坐标系和真实图像坐标系分别描述畸变前后的坐标关系uuYX,ddYX,坐标系摄像机光学成像过程的四个步骤刚体变换透视投影畸变校正数字化图像世界坐标系摄像机坐标系真实图像坐标系数字化图像坐标系理想图像坐标系tzyxRzyx11013、刚体变换公式齐次坐标形式CB物体AB图像Of=OB为透镜的焦距m=OC为像距n=AO为物距nmf111fnfm一般地由于于是这时可以将透镜成像模型近似地用小孔模型代替透视投影——透镜成像原理图ccczyxM,,cXcZcYuYuXuuyxm,occuzxfxccuzyfy101000000001cccuuczyxffyxz写成齐次坐标形式为透视投影——小孔成像模型ccuzxfxccuzyfy101000000001cccuuczyxffyxz写成齐次坐标形式为中心透视投影模型cYuYuXcXocZccczyxM,,1Ofuuyxp,dtPositionwithdistortionIdealPositionuYuXdrdr:radialdistortiondt:tangentialdistortionuuyuduuxudyxyyyxxxuu,,畸变校正——径向和切向畸变径向畸变离心畸变薄透镜畸变径向失真切向失真a:barreldistortionb:pincushiondistortionab畸变校正——其它畸变类型桶形畸变a和枕形畸变b薄棱镜畸变uYuXAxisofmintangentialdistortionAxisofmaxTangentialdistortionsincot00dyyvvdxydxxuuddd在中的坐标为像素在轴上的物理尺寸为1Ovu,00,vudydx,AffineTransformation:图像数字化U1O0udydx0vCdYdXV1100sin/0cot100ddvuuyxvfuffvu齐次坐标形式:其中dyfdxfvu1,1线性摄像机成像模型1010000000011cccczyxffzyx1100sin/0cot100yxvfuffvuvuu1100sin/0cot10011013图像物理坐标系图像像素坐标系摄像机坐标系世界坐标系图像像素坐标系世界坐标系最终得到：这是忽略畸变的线性成像模型2.三维重建的目的、任务三维重建是人类视觉的主要目的，也是计算机视觉的最主要的研究方向.(Marr1982)所谓三维重建就是指从单幅图像加景物约束、二幅、二幅以上图像恢复空间点三维坐标的过程。成像平面O照相机的成像模型：iiixΜtRKm),(三维重建主要目的：从图像出发，求出所有的Mi摄像机标定：从图像出发，求出内参数K摄像机标定位或运动参数求解：从图像出发，求出运动参数R，t鱼眼模型下应用标定的参数对图像校正因此，有必要研究图像之间约束，图像之间的几何图像几何学三维重建的三个关键步骤•图像对应点的确定•摄像机标定•摄像机运动参数的确定Ou摄像机坐标系xyv图像坐标系cXcZcY1O世界坐标系wXwZwYwO空间物体O’摄像机oI’IMom’m'eel'lwzwxwyR,T3.射影几何学简介为什么要学习射影几何？照相机的成像过程是一个射影变换(透视或中心射影)的过程：物体与其影像不同，但是又有着一些共同的几何性质。几何是：研究某个空间里的图形在变换之后保持不变的性质的学科。几何学:希腊文geometrein，土地测量简单交易、土地面积计算、在陶器上绘制几何图案等等经过生产实践，总结出一些计算法则和公式圆周率的计算：张衡、祖冲之、刘徽等勾股定理圆周长的平方12圆面积圆周率=3埃及金字塔建于４５００年前，是古埃及法老（即国王）和王后的陵墓。陵墓是用巨大石块修砌成的方锥形建筑，因形似汉字“金”字，故译作“金字塔”。大金字塔是埃及现存规模最大的金字塔，被喻为“世界古代七大奇观之一”。它建于埃及第四王朝第二位法老胡夫统治时期（约公元前２６７０年），原高１４６．５９米，因顶端剥落，现高１３６．５米，塔的４个斜面正对东南西北四个方向，塔基呈正方形，每边长约２３０多米，占地面积５．２９万平方米。塔身由２３０万块巨石组成，它们大小不一，分别重达１．５吨至１６０吨，平均重约２．５吨。据考证，为建成大金字塔，一共动用了１０万人花了２０年时间。古人测量金字塔？利用金字塔的影子，采用三角形相似原理，进行测量。发现了有关三角形的一些重要定理常见的旋转和平移是欧氏变换，研究在欧氏变换下保持不变的性质（欧氏性质）的几何，是欧氏几何。比如长度、角度、平行性等都是欧氏性质。Euclid（约公元前330-275）《原本》，欧氏几何学整理、归纳、升华Pappus(约公元3世纪)，提出交比、对合等概念，射影几何萌芽文明的发展并不是一帆风顺的古罗马文明，数学并不受到信奉基督教的罗马统治者的欢迎，数学家：“占星术士”，占星术被严禁。之后到公元1100年，欧洲数学的发展停滞。文艺复兴，作画，作图需要产生透视法。艺术家企图用表象艺术的手法描绘世界：布局，光源，深度感，存在数学基础Desargues(1591-1661),引入无穷远元素，透视定理，交比、调和不变，极点、极线，创立射影几何。射影几何独一无二，来自艺术达芬奇，30岁研究数学，视觉图像在空间中是沿直线传播的，眼睛只能以光椎体的形式看到东西越远的物体看起来越小不保持距离，不保持角度。射影几何是一个基础几何：欧氏几何和双曲几何、黎曼几何等许多非欧几何都是射影几何的子几何。Einstein：伟大的广义相对论著名公式E=mc2Riemann弯曲空间的工作成果GrossmanEinstein照相机的成像过程不保持欧氏性质例如:平行线不再平行无穷远元素平行线交于一个无穷远点;平行平面交于一条无穷远直线;在一条直线上只有唯一一个无穷远点.所有的一组平行线共有一个无穷远点.无穷远点无穷远无穷远在一个平面上,所有的无穷远点组成一条直线,称为这个平面的无穷远直线.平行线无穷远直线3维空间中所有的无穷远点组成一个平面,称为这个空间的无穷远平面.无穷远平面平行线平行平面和直线射影空间对n维欧氏空间加入无穷远元素,并对有限元素和无穷远元素不加区分,则它们共同构成了n维射影空间.1维射影空间是一条射影直线,它由我们所看到的欧氏直线和它的无穷点组成;2维射影空间是一个射影平面,它由我们所看到的欧氏平面和它的无穷远直线组成;3维射影空间由我们所在的空间与无穷远平面组成.齐次坐标在欧氏空间中建立坐标系后,便有了点与坐标间的一一对应,但当引入无穷点以后,无穷远点无坐标,为了刻化无穷远点的坐标,我们引入齐次坐标.在n维空间中,建立欧氏坐标后,每一个有限的点的坐标为,对任意n+1个数,如果满足:则被叫作这个点的齐次坐标.),...,(1nmm),,...,(01xxxn.,...,,001010nnmxxmxxx01,,...,xxxn相对于齐次坐标,被称作非齐次坐标.不全为0的数组成的坐标被称作无穷远点的齐次坐标.),...,(1nmm)0,,...,(1nxxnxx,...,1例如:在欧氏直线上的普通点的坐标为x,则适合的两个数组成的坐标为这个点的齐次坐标,x为这个点的非齐次坐标.对任意的,则为无穷远点的齐次坐标.xxx01/01,xx),(01xx01x)0,(1x引入齐次坐标后,在二维平面上,如果直线的方程为:则直线的齐次方程为:无穷远直线的方程则为:0021xcxbxa021cxbxa00x在三维空间中,如果平面的方程为:则平面的齐次方程为:无穷远平面的方程则为:0321dxcxbxa00321xdxcxbxa00x射影参数对于n维空间中的任意一条直线,如果是它上的任意两个取定的点,则它上的任意一个点可以由线性生成:其中分别是的齐次坐标,是两个不全为零的常数.P21,PP2211XcXcX21,,XXX21,,PPP21,cc21,PP比例被叫作关于在这条直线上的射影参数.如果,则射影参数为.21ccP21,PP02c交比对于共线的4个点,比例：被叫作关于的交比，记为其中分别是，的射影参数。4321,,,PPPP))(())((41324231),(43PP),(21PP),;,(4321PPPPiiP4..1i定理：设四个不同的共线点中的三点及其交比值为已知，则第四点必唯一确定。射影变换记是两个由点组成的射影空间,是由到的映射.如果保持:(i)点和直线的结合关系.比如:点在直线上;直线通过点;等等.(ii)共线的四个点的交比.则被叫作n维射影变换.',nnSSTnS'nSTT两个射影空间可以是同一个空间,则是同一个空间里的变换.',nnSSTnS'nST'nSnST点用齐次坐标表示,则射影变换可用一个(n+1)-(n+1)的矩阵表示:的行列式非零,则它是一个非退化的射影变换,否则是个退化的射影变换.PTPxxxttttxxxnnnnnn',,,,01)1)(1(1)1()1(111'0''1T例如:是两条射影直线,让与对应,其中与的连线都交于一点,则这个映射是一个1维射影变换.(透视或中心射影)iPL'iP'LiP'iPP1’P2’P3’BP3P2P1P0AOL’L照相机的成像过程是一个从3维空间到2维空间的退化的射影变换。成像平面摄像机坐标系ZXYOMm射影几何射影几何是：研究射影空间中在射影变换下保持不变的性质的几何学。射影变换射影空间射影空间几何性质/数量几何性质/数量=射影平面中的对偶“点”与“直