双目立体视觉系统

1学生：双目立体视觉系统双目立体视觉系统Binocularstereovisionsystem2立体视觉是机器视觉的一个重要分支，立体视觉的研究目的是使机器具有通过二维图像认知三维环境信息的能力。这种能力将不仅是机器能感知三维环境中物体的几何信息（形状、位置、姿态、运动等），而且还能对它们进行描述、存储、识别与理解，以满足特定的需求。背景双目立体视觉系统3立体视觉通过设计和模仿人类视觉来获得物体深度信息。它在逆向工程、测试测量、文化产业、公共安全、视觉导航、地图生成、航空勘测等领域都有很好的应用价值。二维信息与三维信息的结合，也为一些具体的工程问题提供了方法，如目标识别的图像分割。背景双目立体视觉系统41：双目视觉系统模型2：双目视觉系统关键技术•系统标定•立体匹配•3D重建及后续处理主要内容双目立体视觉系统5双目视觉系统模型物体的深度信息可以通过双眼的观察得到。6双目立体视觉三维测量原理(Triangulation)双目立体视觉三维测量是基于视差原理。计算公式：7视差(Disparity)与深度(Depth)的关系视差和深度成反比关系：8视差(Disparity)与深度(Depth)的关系同一深度下的视差一样9亚像素(Sub-pixel)在某些对精度要求较高的场合，需要对视差进一步精细化(Refinement)，亚像素是其中的一种方法。10双目立体视觉三维测量原理(Triangulation)双目立体视觉三维测量是基于视差原理。计算公式：双目立体视觉系统113D坐标计算双目立体视觉系统12光轴平行模型3D坐标计算则三维坐标为(X/W,Y/W,Z/W).O，O’分别为相机光心，双目视觉系统模型光轴会聚模型11Zc111ZYXMvuleftO，O’分别为相机光心，11Zc222ZYXMvuright光轴会聚模型3D坐标计算（1）光轴会聚模型3D坐标计算（1）可以求解出X、Y、Z，在实际应用中，由于数据总是有噪声的，可以用最小二乘法求X、Y、Z。光轴会聚模型3D坐标计算（2）光轴会聚模型3D坐标计算（3）两个相机的光轴与基线形成的夹角(α1,α2)；基线是两台照相机物镜光学中心的连线（B）；两台照相机的焦点(f1,f2)；光轴会聚模型3D坐标计算（3）在△o1o2P’中有：在△PP’o1中：最终得：其中，191：双目视觉系统模型2：双目视觉系统关键技术•系统标定•立体匹配•3D重建及后续处理主要内容双目立体视觉系统双目系统标定1：单个摄像机标定2：系统标定摄像机标定双目系统标定径向畸变切向畸变双目系统标定结构有关，称这些参数为摄像机内部参数；M2完全由摄像机相对于世界坐标系的方位决定，称为摄像机外部参数，确定某一摄像机的内外参数，称为摄像机定标。只与摄像机内部双目系统标定用两个摄像机同时观察周围环境，如果外参数分别用R1、t1与R2、t2表示，则R1、t1表示C1摄像机与世界坐标系之间的相对位置，R2、t2表示C2摄像机与世界坐标系的相对位置。对任意点P，如它在世界坐标系、C1坐标系与C2坐标系下的非齐次坐标分别为Xw、Xc1、Xc2，则两个摄像机之间的几何关系可以用以下R和t表示：251：双目视觉系统模型2：双目视觉系统关键技术•系统标定•立体匹配•3D重建及后续处理主要内容双目立体视觉系统立体匹配主要难点立体匹配主要难点立体匹配主要难点立体匹配主要难点立体匹配约束条件匹配的约束条件，就是根据所选匹配基元将现实物理世界的某些固有属性表示成匹配所必须遵循的若干规则，用以提高系统的去歧义匹配能力和计算效率。优良的匹配算法口引应能充分利用尽可能多的辅助信息或者约束条件来提高匹配的质量。1：唯一性约束也就是说一幅图像上的一个像素在另一幅图像上最多只能对应第二幅图像中的一个像素。例外情况是存在遮挡条件下，将不存在对应点。这条约束条件是立体匹配必须满足的。立体匹配约束条件2．连续性约束(ContinueConstraint)物体表面一般都是光滑的，因此物体表面上各点在图像上的投影是连续的，其视差也是连续的。但是，由于遮挡问题，在物体边界处，比如边界两侧的两个点，连续性约束并不成立。3．相似性约束(FeatureCompatibilityConstrain)物体表面上一点在两幅或多幅图像上的投影在某些物体度量上(如灰度，灰度梯度变化等几何形状上)具有相似性。比如空间某一个点在一条直线上，它在图像中的投影也应该在一条直线上。像。此约束限制了寻找对应点时的搜索范围。立体匹配约束条件4．顺序一致性约束(OrderingConstraint)因为图像是对现实世界的投影，因此假如在现实世界中，P点在Q点的左边，则在图像上，P点仍然在Q点的左边。但是，如果视点的方位变化很大，这个约束条件可能不被满足。5．互对应约束(MutualCorrespondenceConstraint)假设搜索从左图像点足开始，找到右图像上对应的点斥。如果任务反过来，搜索从只点丌始，但是没能找到e，则匹配不可靠，应该被排除。这个约束有助于排除由于遮挡，高光或噪声原因而不存在对应的那些点。6．视差范围约束(DisparityLimitConstraint)7.极线约束33极线几何(EpipolarGeometry)基线：左右两像机光心的连线；极平面：空间点，两像机光心决定的平面；极点：基线与两摄像机图像平面的交点；极线：极平面与图像平面的交线。plprPOlOrelerPlPr极平面极线极点基线34极线几何(EpipolarGeometry)动机:在哪寻找匹配点?极平面极线极点极线约束匹配点必须在极线上plprPOlOrelerPlPr极平面极线极点35极线方程左右两幅图像相对应的点之间的关系可以通过Essential矩阵来表明。Essential矩阵是摄像机标定情况下用的。公式：pr和pl分别是齐次摄像机坐标向量。公式描述了点pr位于与向量Epl相关的外极线上。Essential矩阵是奇异矩阵，并有两个相等的非零奇异值，秩为2。0)(lTrEpp36图像校正(RectifiedImages)目的：规范化极线约束中的极线分布，使得匹配效率得到进一步的提高。校正后的图像不需要求极线方程，因为相对应的匹配点在图像相对应的扫描线(Scan-line)上。37图像校正(RectifiedImages)在校正图像中所有极线都平行38图像校正(RectifiedImages)把极点拉向无穷远处。39图像校正(RectifiedImages)校正后图像匹配方法图像匹配方法42区域匹配局部算法(Local/window-basedalgorithms):在匹配点的一个特定窗口中计算相似度。SSD，SAD，MSE，MAD，etc.全局算法(Globalalgorithms)：能量方程：模拟退火(Simulatedannealing),动态规划(DynamicProgramming),图像分割(graph-cut),etc.)()()(dEdEdEsmoothdata图像匹配方法图像匹配方法图像匹配方法图像匹配方法图像匹配方法48特征匹配VS区域匹配特征匹配(Featurematch)：速度快，匹配效率高；特征的提取可以到亚像素级别，精度较高；匹配元素为物体的几何特征，对照明变化不敏感；重建需要拟合。区域匹配(Densematch):重建不需要拟合；速度慢，效率低；对于无纹理，纹理不明显的图像匹配效果不理想；对光强、对比度、照明条件敏感。图像匹配方法50多个摄像机三个摄像机增加第三个摄像机可以消除（大部分）由双目图像点造成的不确定性。本质上，第三幅图像可以用来检查前两幅图像中假定的匹配：和前两幅图像中匹配点对应的三维空间点首先被重建，然后再投影到第三幅图。如果在第三幅图像的再投影点周围没有相容的点，那么这个匹配一定是错误的匹配。51结构光(StructureLight)光学投影器将一定模式的结构光投射于物体表面，在表面上形成由被测物体表面形状所调制的光条三维图。结构光的目的就是增加三维物体的纹理信息。52各种结构模板光实例条纹与散斑PPPt=nt=2t=1541：双目视觉系统模型2：双目视觉系统关键技术•系统标定•立体匹配•3D重建及后续处理主要内容双目立体视觉系统双目立体视觉系统55That’sall,thankyou!