第九章-立体视觉

周文晖计算机学院D.Marr视觉计算理论：计算机视觉的第三阶段（后期阶段）是获得物体的三维模型表征。如何从图像中自动计算三维几何？换句话说：图像中提供了哪些关于三维信息的线索？包含了哪些深度线索呢？阴影MerleNormanCosmetics,LosAngeles阴影纹理TheVisualCliff,byWilliamVandivert,1960阴影纹理遮挡FromTheArtofPhotography,Canon阴影纹理遮挡运动阴影纹理遮挡运动模糊阴影纹理遮挡运动模糊其他线索高光轮廓对焦...ShapeFromXX=阴影、纹理、遮挡、运动、...Twoisbetterthanone?红蓝眼镜偏振光眼镜快门眼镜LGOptimus3DHuman-EyeSeparation(~6.5cm)Left2DImageRight2DImageBrain3DView左、右图像提供了怎样的深度线索？Left2DImageRight2DImageBrain3DView采用一对像机代替人眼Left2DImageRight2DImageBrain3DViewDisplacement(StereoBaseline)采用一对像机代替人眼Displacement(StereoBaseline)Left2DImageRight2DImageComputer3DViewDisplacement(StereoBaseline)Left2DImageRight2DImageComputer3DView光线OP上的任意点都投影在图像平面的p点上。深度感知存在歧义第二个像机可解决单目存在的深度歧义可通过三角测量获得深度两直线相交于一点plpr问题：如何根据pl和pr点获取深度？考虑左、右像机光轴平行的特殊情况P(X,Y,Z)pl(xl,yl)光心Olf=焦距像平面左摄像机B=基线深度Zf=焦距光心Orpr(xr,yr)像平面右摄像机x’zfxCC’XBfxxfBzdxxBfzdd=x-x'称为视差思考：该视差公式隐含了什么条件？通常的立体视觉系统（包括人类视觉系统）都是采用会聚方式。fieldofviewofstereoonepixeluncertaintyofscenepointOpticalaxesofthetwocamerasneednotbeparallel平行光轴立体视觉系统◦短基线较大的公共视野区域深度误差（不确定区域）较大平行光轴立体视觉系统◦短基线较大的公共视野区域深度误差（不确定区域）较大◦长基线公共视野区域较小深度误差（不确定区域）较小平行光轴立体视觉系统◦短基线较大的公共视野区域深度误差（不确定区域）较大◦长基线公共视野区域较小深度误差（不确定区域）较小会聚光轴立体视觉系统◦会聚角度为θ◦公共视野区域大可以得到的结论是？1、基线或聚散度增加导致视野范围减少2、基线或聚散度影响三维重建的精度会聚立体视觉系统能否利用之前的推导结果？立体视觉中重要的几何约束：极线约束场景点P在视图π中的投影点为像素点p，则在视图π’中的投影点p’必定满足双目几何约束：◦必定位于图像平面π’与OPO’平面的交线上。像素点p和p’是场景点P在两视图上的投影。像素点p和p’称为对应点或匹配点。•极平面极点极线基线极点极线极线约束：对应点必定在极线上！基线（Baseline）：连接像机中心的直线极点（Epipole）：基线与图像平面的交点极平面（Epipolarplane）：基线和场景点组成的平面极线（Epipolarline）：极平面与图像平面的交线所有的极线相交于极点思考：极线约束的意义或用处？所有极线水平极点在基线B上的无穷远处左、右图对应极线在同一水平。对应像素点只存在水平坐标差异，不存在垂直坐标差异。即仅有水平视差，垂直视差为0。视差定义：d=x-x'x’zfxCC’XBf光轴会聚的立体视觉系统能否利用平行光轴的推导结果？立体图像校正◦将左、右图像平面都投影到平行于基线的公共平面。◦变换后的对应极线处于同一水平线（共线）。校正的目的：◦输入图像通过透视变换使得外极线水平，且共线。◦畸变校正，使得成像过程符合小孔成像模型。plprPOlOrXlXrPlPrZlYlZrYrT校正步骤：◦将左右图像平面都投影到平行于基线的公共平面。◦图像行像素重采样。◦最小化图像畸变。[ZhangandLoop,MSR-TR-99-21]立体视觉系统的参数◦内部参数对于每个像机，其图像坐标系与像机坐标系间的关系。焦距、光心、畸变系数◦外部参数两像机间的相对位置和方向。旋转矩阵R和平移矢量T（由双目像机标定获得）plprPOlOrXlXrPlPrflfrZlYlZrYrR,T符号定义：场景点P在左右像机坐标系下的坐标为Pl=(Xl,Yl,Zl),Pr=(Xr,Yr,Zr)。外部参数◦平移矢量T=(Or-Ol)◦旋转矩阵RPr=R(Pl-T)场景点P在左右图像平面上投影pl=(xl,yl,zl),pr=(xr,yr,xr)。◦对于所有的像素点有zl=fl;zr=frllllrrrrfZfZpPpPplprPOlOrXlXrPlPrflfrZlYlZrYrR,T同时旋转左右像机使得它们具有相同的X轴。定义左像机的旋转矩阵为Rrect。右像机旋转矩阵为RrectR'立体图像校正后RrectR'？plprPOlOrXlXrPlPrZlYlZrYrT,0,0rlBTPPT由立体图像标定有，立体图像校正后，有校正目标：即：可得由于R为正交矩阵，有rlPRPT11llllllrrrrrrPRPPRPPRPPRP,0,0rlBTPPT111rrllrrlrRPRRPTPRRRPRRT11rlrlRRRIRRRrlRRRStereopairsbeforerectificationStereopairsafterrectificationUnrectifiedRectified平行光轴的双目立体视觉x’zfxCC’XBfBfzddxx还有问题吗？问题：如何确定对应像素点？立体匹配的过程：为左图像的每个像素点(xl,yl)，在右图像中搜索对应点。(xl,yl)LEFTIMAGE问题：在右图像中如何搜索？极线约束的意义：◦将对应点搜索由原来的二维平面上搜索变为在极线上的一维搜索。对于校正后的立体图像：◦在图像水平方向搜索比较右图对应极线上的每个像素，寻找最相似的像素作为对应点。即在右图同一水平方向上的视差范围内搜索。(xl,yl)RIGHTIMAGE相似度值最大问题1：以左图为基准图，视差搜索范围如何确定？问题2：相似性测度如何选择？匹配基元：参与立体匹配，计算相似测度的基本单元常用的匹配基元：◦像素单个像素存在相似性歧义需结合一行或整幅图像的所有像素同时完成匹配◦局部窗口区域具有较好的局部独特性隐含假定：窗口内所有像素应能表征中心像素◦特征具有较好的独特性稀疏且不均匀分布根据立体匹配过程中涉及的像素范围，可分为：◦局部立体匹配通常以基于局部窗口的立体匹配方法为主。匹配基元：局部窗口◦全局立体匹配匹配过程中，求解一行或整幅图像中所有像素的相似测度和最大/最小。匹配基元：像素根据立体匹配过程中采用的匹配基元，可分为：◦致密匹配搜索每个像素的对应点，构建致密视差图匹配基元为像素◦稀疏匹配仅为特征搜索对应点，构建稀疏的视差图.匹配基元为特征。以基准图的待匹配点为中心创建一个窗口，以在对准图中对应外极线上某一像素点为中心创建同样大小的滑动窗口，窗口内相邻像素的亮度值分布来表征中心像素。比较对准图中每个滑动窗口内容与基准图参考窗口内容的相似程度。PPRightepipolarlineSearchRangeLeftepipolarlineMatchingcostdisparityLeftRightscanline问题：采用哪种相似性测度？对于已校正的双目立体图像对，则在扫描线上搜索。常用的相似性测度包括：◦距离测度：L1距离、L2距离、...◦相关系数：NCC、ZNCC◦非参数化测度：RANK、Census像素亮度差的绝对值和(SumofAbsoluteDifferences,SAD)：像素亮度差的绝对平方和(SumofSquaredDifferences,SSD)：,(,)(,)pSADlruvWCIuvIudv2,(,)(,)pSSDlruvWCIuvIudv问题：距离测度越小，相似性越？LeftRightscanlineSSD归一化互相关(NormalizedCross-Correlation,NCC),22,,(,)(,)(,)(,)ppplruvWNCClruvWuvWIuvIudvCIuvIudv,22,,(,)(,)(,)(,)pppllrruvWZNCCllrruvWuvWIuvIIudvICIuvIIudvI问题：相关系数越小，相似性越？LeftRightscanlineNCCRANK：,,(,)pRanklruvWCIuvIudv,,,,pkkkmnWIuvImnIuv统计匹配窗口内像素亮度值小于中心像素的个数。,kIuvCensus：,,,,pCensuslRuvWCHAMMINGIuvIudv,,,,kkkmnWpIuvBITSTRINGImnIuv是将匹配窗口内像素按一定顺序映射为二进制位串，如像素亮度值大于中心像素则映射为1，反之为0。然后比较左、右匹配窗口二进制位串的汉明距离。问题：RANK和Census区别？groundtruth问题：视差图灰度级代表的含义？(a)SAD匹配结果(b)ZSAD匹配结果(c)SSD匹配结果(d)ZSSD匹配结果(e)NCC匹配结果(f)ZNCC匹配结果(g)Rank匹配结果(h)Census匹配结果for(j=line_start;j=line_end;j++){for(i=row_start;I=row_end;i++){//遍历基准图像素for(d=dpXMin;d=dpXMax;d++){//视差搜索cov_tmp=0.0;num=0;for(n=j-vradius;n=j+m_vradius;n++){for(m=i-hradius;m=i+hradius;m++){//遍历窗口addr=n*width+m;subtmp=template_img[addr]-shift_img[addr+d];cov_tmp+=(subtmp0)?subtmp:-subtmp;}}}}}特点：以窗口内像素亮度值的分布特性表征中心像素◦单个像素在亮度、色彩上存在歧义隐含条件：匹配窗口内视差平滑◦匹配窗口内像素应具有相同的视差值。因此，当匹配窗口跨越深度不连续区域时就会因违背假设而引起误配。匹配窗口大小的选择问题5x5匹配窗口7x7匹配窗口11x11匹配窗口19x19匹配窗口匹配窗口变小细节丰富噪声大视差边缘处好匹配窗口变大视差更平滑噪声小视差边缘处差思考：试解释原因？Input–Groundtruth7x7windowSharpedgesareblurred!AdaptivewindowSharpedgesandlessnoise3x3windowToonoisy!优点：◦容易