视频处理与宽带通信6

2011/4/10立体视图合成清华大学自动化系季向阳-2-提纲多视点几何基础三针孔相机几何3.1立体视图合成二对极几何3.2课程回顾一-3-一种立体视频框架示例课程回顾-4-SingleUserMultipleUserHeadTracking2D2D3D3D3DWarpLayeredCodingSyntaxDVBMPEG-2DecoderAdvancedLayerDecoderBaseLayerAdvancedLayer无法人机交互来改变视角同时显示多个视角的图像多用于立体视频广播系统多视图立体视频自由视点视频课程回顾-5-多视图立体视频自由视点视频通过人机交互的方式，改变观测者的视点与视角时，需要生成对应的虚拟视图，使得平滑无缝地获得新的视觉享受。采集系统单目采集双目采集多目采集原始图像深度图像场景渲染基于原始图像渲染基于深度图像渲染基于几何模型渲染立体显示人机交互视点与视角改变课程回顾-6-彩色图像+深度图像课程回顾-7-3D采集3D模型2D转3D内容获取多视点深度图3DV立体编码宽带窄带无线网络传输眼镜裸眼手持重构显示课程回顾-8-提纲多视点几何基础三针孔相机几何3.1立体视图合成二对极几何3.2课程回顾一-9-特征点标定点云网格纹理3DUrbanProjectPhotoTourismProject2.1立体视图合成-10-2.1立体视图合成-11-2.1立体视图合成-12-2.1立体视图合成基于深度图的渲染（DIBR）被定义为从静止或运动图像和相关的像素深度信息合成真实世界场景中“虚拟”视角的过程（Mark1999;McMillan1997）。原始图像的点被映射到三维世界，需要利用各点的深度信息这些中间媒介空间的点投影到“虚拟”相机的图像平面，“虚拟”相机位于需要的观察位置映射（二维到三维）和之后的投影（三维到二维）在计算机图形学（CG）中常被称为三维图像变形-13-:,,,1camcamcamXYZX空间坐标:,,1XYx图像坐标2.2三维图像变形-14-2.2三维图像变形考虑这样一个系统，包含两个小孔相机和一个任意三维点，该点在两个视角中的投影分别为和。假设世界坐标系就是第一个相机的相机坐标系（Faugeras1995），根据相机的投影公式得下面的结果：和是相机的内参,和是深度(,,,1)TxyzM(,,1)Tllluvm(,,1)Trrruvm[|0][|]lllrrrzIzmKMmKRtΜlKrKlzrz-15-2.2三维图像变形由此可以得出相同场景的两幅图像中对应点深度的决定关系该公式能被用来从已知的参考图像创建任意的新视角1rrlrllrzzmKRKmKt-16-2.3“虚拟”的立体相机为了合成虚拟视图，要指定两个“虚拟”相机，它们的轴间距为。为了能建立所谓的零视差设置（ZPS），即在三维场景中选择集中的距离，可以选择两种在现代立体相机中经常使用的方法。“点进”(toed-in)方法“偏移传感器”（shift-sensor）法ctcz-17-2.3“虚拟”的立体相机当体视图像对具有零视差时，两幅图像之间没有任何差别。如果在监视器上显示具有零视差的体视图像对的立方体时，就会发现该立方体似乎位于监视器的平面上一样-18-2.3“虚拟”的立体相机当两幅图像之间的距离小于或等于瞳距，而且我们的视线不交叉时，就会产生正视差，如下图所示，有了正视差，因为大脑能够融合这两幅图像，所以就产生了三维物体的图像，而且该图像看上去就像位于监视器平面后面的空间一样。-19-2.3“虚拟”的立体相机当眼睛的视差交叉时，就会产生负视差，如图所示。在这种情形下，被观察的物体看上去就像飘浮在眼睛和显示器之间的空间里-20-2.3“虚拟”的立体相机-21-2.3“虚拟”的立体相机-22-2.3“虚拟”的立体相机左眼和右眼“虚拟”视角的视差c11rlrlucPuutzz/00/001xxyyfsoKfso-23-2.3“虚拟”的立体相机在真实或“虚拟”立体相机中改变轴间距，参考相机的焦距和交汇距离时，在性质上对视差，感觉深度和对象大小的影响。参数＋/－视差感觉深度对象大小轴间距＋－增大减小增大减小不变不变焦距f＋－增大减小增大减小增大减小交汇距离＋－增大减小偏移（向前）偏移（向后）不变不变ctcz-24-2.4遮挡问题立体视角合成算法的固有问题是由于场景的部分在原始图像中是被遮挡住的内容，可能在“虚拟”的左眼或右眼视角中变得可见，这种情况在计算机图形学（CG）术语中称为曝光或不遮挡（Mark1999;McMillan1997）-25-2.4遮挡问题-26-2.4遮挡问题-27-提纲多视点几何基础三针孔相机几何3.1立体视图合成二对极几何3.2课程回顾一-28-多视点几何基础主要说明多视角计算机视觉的基本几何原理，重点是透视相机的几何模型和这种模型在多相机表现相同三维场景时产生的约束和属性主要研究人员：Faugeras(1993),Faugeras和Luong(2001),Hartley和Zisserman(2003)-29-3.1针孔相机几何核心概念：光心C（也叫作相机投影中心）焦距f,成像面与点C的距离叫做焦距f。相机的主轴或光轴,经摄像中心垂直于成像面的轴主面或聚焦面,平行于成像面的面景深-30-3.1针孔相机几何-31-3.1针孔相机几何通过简单的三角知识，可以看到三维空间的点映射为成像面的点。如果图像和世界中的点用齐次坐标表示，透视投影可以被表达成矩阵乘法：00000000101xfxfyfyfzz,,Txyz/,/,1Tfxzfyz-32-3.1针孔相机几何结合描述线性映射的摄像投影矩阵P，上述透视投影方程可以进一步表示为：其中M=是三维空间点的齐次坐标，m=是成像点的齐次坐标。P与相机的内参和外参有关zm=PM,,,1Txyz/,/,1Tfxzfyz-33-3.1针孔相机几何K为相机校准矩阵，它包含相机坐标到像素坐标的转换信息。它依赖于所谓的相机内部参数，例如，焦距f，图像中心的像素坐标ox,oy，以轴向长度表示的像素的大小（毫米单位）sx,sy（Trucco和Verri1998）|tPKR/00/001xxyyfsoKfso-34-3.1针孔相机几何从几何角度看，投影是通过空间点和光心照射到图像平面的光线。如点m=的光射线是从物点投射到m上的直线的轨迹。它可以被描述为一条带有参数的经过相机投影中心C投影到m的三维空间无穷远点的直线：133,10CPmM,,1Tuv-35-提纲多视点几何基础三针孔相机几何3.1立体视图合成二对极几何3.2课程回顾一-36-3.2对极几何-37-3.2对极几何双透视图模型：我们把左视图的摄像投影矩阵定义为，右视图的是。lPrPlllmPMrrrmPM-38-3.2对极几何双视图几何描述的是同一个三维场景的两个不同的透视视图间内在的几何关系。它通常被称为对极几何。其关键的结论:对应图像点一定位于特定的图像线上，这条线可以在没有相机校准信息的情况下计算出来给出图像中的一个点，人们可以在另一幅图像的一条线上寻找它的对应点，而不是一个二维区域，这样明显降低了复杂度-39-3.2对极几何-40-3.2对极几何对极约束：因此，给一个点，可以确定右侧图像上的对极线，右边对应的像点必然在此线上。与左图某成像点相对应的右对极线，在几何上表现为经过的光线向右成像面的投影。lmrm133,10lllrrrrlrCPmmPMPPlmrm133,33,rrrlrllmePPm可简化为：-41-3.2对极几何对极几何可以通过以下几种方法解析地描述：如果相机的内外参数都知道，我们可以把对极几何描述成投影矩阵的形式如果只知道相机的内参数，我们通过标准化坐标将对极几何描述成要素矩阵如果相机内外参数都不知道，对极几何将由基础矩阵描述-42-3.2对极几何要素矩阵E：考虑一对标准化相机。不失一般性的，我们可以将世界参考系框架固定到一个相机上，有：当内参数已知时，不知道的外参数可以被明确|0lPI|rPRt-1mKm-43-3.2对极几何要素矩阵E：把这两个关于相机投影矩阵的特定的实例代入对极约束方程，可以得到：在齐次坐标下，这些可以被写为如下的形式：因为齐次坐标下过两点的线表示为这两个点的叉积。同样的，一个点点积一条直线等于0表示这个点在这条直线上。rrllmtRm[()]0TrlmtRm-44-3.2对极几何要素矩阵E：两个向量的叉积可以被写为一个相似矩阵和向量的叉积，因此：要素矩阵定义为：[]0TrlmtRm[]defEtR-45-3.2对极几何基础矩阵：基础矩阵可以由与要素矩阵相同的方法得到，将投影矩阵代入对极约束可以得：这表明点处于通过点和的直线上。在齐次坐标下：基础矩阵F为：1rrrlrllmeKRKmrreKt其中，rmre1rllKRKm10TrrrllmeKRKm0TrlmFm-46-3.2对极几何从推导中不难发现基础矩阵与要素矩阵的关系为：要素矩阵是一个齐次量，有五个自由度：一个三维旋转和一个三维平移方向基础矩阵有七个自由度1TrlFKEK-47-3.2对极几何基础矩阵估计（八点算法）利用足够数量的超过F的元素个数的对应点，可以将方程写成一系列的线性约束。这就是八点算法的本质。例如，对于一对对应点和，方程可以写为：其中，，，…,是F的未知元素。0TrlmFm1lllmuv1rrrmuv1,11,21,32,12,22,33,13,23,30rlrlrrlrlrlluufuvfufvufvvfvfufvff1,1f1,2f-48-3.2对极几何基础矩阵估计（八点算法）标准化输入数据。线性求解。强加奇异约束。反标准结果。-49-3.2对极几何校正：对于一对立体图像，对极校正（或简称校正）决定了每一个图像平面上的变换，也就是说：使得一对对应的对极线变得共线或平行于图像坐标轴（通常是水平轴）。校正图像，可以被认为是一个虚拟的立体对，这个虚拟对是通过转动原始的相机并且修改可能的内参数得到的。校正最大的优点是使得计算立体对应关系变得简单，因为搜索将在校正图像的水平轴上完成。-50-3.2对极几何校正确定虚拟相机：对于真实相机矩阵，和，校正的思想是要定义两个新的虚拟相机，和，通过围绕真实相机的光心转动相机，直到聚焦面共面orPolPnrPnlP-51-3.2对极几何校正校正变换：从左图像来说，我们需要计算变换，来得到从图像平面到的映射。通过光线方程，对于任意三维点M，它向真实图像的投影点和校正图像的投影点投影时，存在着两个参数和：因此olPnlPolmnlmonn1lo33,olol1ln33,nlnlMCPmM=CPm1onl33,nl33,ololnmPPm-52-3.2对极几何三维重构：如果内外参数都已知，我们可以清晰地通过三角形解决重构问题；如果只有内参已知，我们可以估计外参并且通过一个未知的尺度因子解决重构问题。如果内外参数都不知道，例如惟一知道的是像素的对应关系，我们仍然可以解决重构问题，但是要依赖一个未知的对于这个世界的全局投影变换。-53-总结“虚拟”立体相机中轴间距、焦距和交汇距离对立体成像的影响对极几何原理要素矩阵基础矩阵2011/4/10谢谢！