第10章光学三维传感

第十章Optical3DSensing光学三维传感光学三维传感：用光学手段获得物体三维空间信息的方法和技术。3D测量的需求及应用机器视觉、逆向工程、实物仿形、工业检测、生物医学、影视特技、虚拟现实等对具有自由曲面的产品模型进行高精度三维测量分析可以为游戏、娱乐系统提供大量具有极强真实感的三维彩色模型不损伤物体，获得文物的外形尺寸和表面色彩、纹理，得到三维拷贝影视特级制作MetrologicGroup德国RSI3DBodyBuilder3DDigitalCorpEScan绵阳铁牛北京博维恒信被动三维传感：结构简单，但计算复杂主动三维传感：需要结构光照明，非接触、高灵敏度、高测量精度、高自动化被动主动(结构照明)时间（如TOF）空间直接三角法调制度测量散斑投影法相位测量法（FTP，PMP）三维传感单目双目多目►被动三维传感►主动三维传感►相位测量轮廓术►傅立叶变换轮廓术►调制度测量轮廓术被动三维传感：被动视觉检测利用自然光源，不需特殊的照明，通过摄像机从不同的位置摄取被测物图像，利用图像中的某些特征建立它们的关系，从而获取实际物体的位置或尺寸信息。基本原理：三角法测量原理分类：单目摄像机移动法、双目立体视觉法和多目体视法§1被动三维传感一、单目摄像机移动法摄像机移动方向被测物摄像机原理：被测物不动，移动摄像机在不同位置摄取物体图像，利用已知的不同位置摄像机间的关系，求取被测物的位置或尺寸信息。应用：机器人和机械臂自移动方向导引系统中。系统的测量精度主要受摄像机或物体移动位移精度的影响二、双目立体视觉法被测物摄像机1摄像机2摄像机1和摄像机2相对位置固定，与被测物构成三角形，被测物在两像面上形成立体像对，根据匹配的像点，依据立体视差（StereoDisparity）原理来获取被测物体的三维轮廓直观、结构简单、测量精度较高主要问题是多幅图像上同名点的搜索及自动匹配较为困难P(X,Y,Z)z1z2Bx1x2y2y1O1O2p1p2dfBZdyBYdxBXl应用于飞机导航、机器人、无人驾驶器、立体显微术、自动制图和工业自动化等领域中rlrlxxxxd视差双目立体视觉测量系统CCD摄像机CCD摄像机投影仪计算机图像采集卡图像采集卡监控器监控器三、多目体视法为减少图像特征匹配的多义性，在双目立体视觉的基础上，增加一台或多台辅助摄像机构成多目体视法。摄像机的增加，减少了因目标特征模糊而产生的误匹配现象，但计算量也相应地增加。被测物辅助摄像机摄像机2摄像机1四、测距原理针孔相机模型三维物体通过一个小孔成像在胶片或者图像传感器的图像平面上,针孔模型的核心思想是，图像通过透镜成像后，在像平面上可以找到与之对应的理想像点。光轴X-xx焦距物距Z像平面像平面相机中心光轴Xx焦距物距Z像平面相机中心Xzfx理想的透视变换模型中心透视投影ZfYyZfXx100010000001ZYXffyxZ透视关系：齐次坐标表示：P(X,Y,Z)P(x,y)双目视觉传感器原理采用了典型的平行摆放的双CCD视觉系统ZXfxlZBXfxr)(ZYfy投影坐标：lprp),,(ZYXP1O1z2z2O2x1x1y2yB设P在两个像面上的图像坐标：),(),,(rrrlllyxpyxp视差(disparity)：rlxxd物体的三维坐标：dfBZdyBYdxBXllprp),,(ZYXP立体匹配：寻求同一空间景物在不同视点投影下像素间的一一对应关系。1O1z2z2O2x1x1y2yBlprp),,(ZYXP►被动三维传感►主动三维传感►相位测量轮廓术►傅立叶变换轮廓术►调制度测量轮廓术►其他光学三维轮廓测量方法§2主动三维传感一、系统结构投影器三维物体CCDPC显示器图像卡1、光源激光光源、光栅投影机、液晶投影仪、DLP等。结构照明方式：点结构、线结构（光刀）、面结构点结构：简单、信噪比高、测量范围宽、速度慢、数据无规则、需二维扫描。线结构：测量速度较快、需一维扫描面结构：速度快、可全场测量、精度较低，受遮蔽影响。面结构光强度连续分布、二元空间编码、时间编码灰度编码、颜色编码2、图像传感器主要采用一维或二维的电荷转移器件(CTD)包括电荷耦合器件（CCD）和电荷注入器件（CID）。3、软件图像获取与处理、测量应用软件。两大类：时间调制、空间调制二、时间调制（飞行时间法TOF）原理简单，测距速度高，又可避免阴影和遮挡等问题，但对信号处理系统的时间分辨有较高要求，点测量。三、空间调制基于三角测量原理。包括直接三角法和相位测量法1、直接三角法包括激光逐点扫描法、光切法和二元编码图样投影法等。分别采用点、线、面三类结构光投影。原理：通过出射点、投影点和成像点三者之间的几何成像关系确定物体各点高度，测量的关键在于确定三者的对应关系优点：信号的处理简单可靠，无需复杂的条纹分析就能确定各个测量点的绝对高度信息，自动分辨物体凹凸，物体的物理间断点也不影响测量。2、相位测量法包括莫尔轮廓术、时域相位测量法和空域相位测量法莫尔轮廓术：投影型莫尔法、阴影莫尔法、频移阴影莫尔法时域相位测量法：相位测量轮廓术空域相位测量法：相移莫尔法、空域移相法、傅立叶变换轮廓术三、点结构光三维传感ysosoxsosozzyyzzxxtan)(tan)(物点坐标：像点坐标：yyssoooixxssoooifzyzfyzfyfzxzfxzfxtan)tan(tan)tan(同样，参考面上的点对应的像点坐标为：yyssrefrefrefirefxxssrefrefrefireffzyzfyzfyfzxzfxzfxtan)tan(tan)tan(像点位置差异：refoyssirefoxssizzzyfyzzzxfx11)tan(11)tan(物体距离：]tan(/[1xssrefirefozxfzxzz2222iiiLLoxxxzfxz几种三角测量的坐标关系cossinxfxlzsincossinsin)(xfxflztantank测量实例1、测量原理sincossinsin)(0xfxflrr极坐标下2、系统构成3、同步扫描优点：提高高度测量精度。扫描方式a）双面镜扫描扫描方式b）多面棱锥镜扫描扫描方式c）旋转体扫描四、线结构光三维传感片光的产生测量原理NMcossinsinsinffOIOH光刀中心的确定光刀光强分布极值法、阈值法、重心法、曲线拟合法等。光刀图像二值化细化后剪枝后组合图测量实例发动机叶面测量测量实例石膏模型测量►被动三维传感►主动三维传感►相位测量轮廓术►傅立叶变换轮廓术►调制度测量轮廓术相位测量轮廓术(PhaseMeasuringProfilometry,PMP)原理：正弦光栅和相移相结合，通过解方程的方式获取受物体高度调制的相位。优点：非接触、全场测量、精度高、对噪声不敏感、计算简单缺点：要求精确控制相移、多次采样§3相位测量轮廓术投影条纹采集条纹计算高度截断相位相位展开一、测量原理正弦光栅投影到物体表面，可表示为：SEpEpEcEc‘‘dL0ROEBCDHA-hθ物体)],(cos),(),()[,(),(yxyxByxAyxRyxIR(x,y)是物体表面不均匀的反射率，A(x,y)表示背景光强，B(x,y)/A(x,y)是条纹的对比度。相移：当投影的正弦光栅被移动其周期的N分之一时，条纹图的相位被移动2π/N产生一个新的强度函数In(x,y)通过解方程组即可求得相位NnnnNnyxINnyxI1N1n)/2cos(),()/2sin(),(arctgy)(x,二、截断相位（WrappedPhase）PMP通过反三角函数（反正切）计算相位，计算出的相位被截断在-π到π的范围内,为了得到连续自然相位，必须进行相位展开。方法：比较展开方向上相邻两点的相位值。若差值小于-π，则后一点相位加上2π；若差值大于π，则后一点相位减去2π三、相位展开（PhaseUnwrapping)截断相位π-π相位展开π-π对二维条纹图中计算得到的二维截断相位进行展开时，首先确定一个展开的起始点，然后从该点开始，对整个图内的点进行遍历。相位的计算方法同一维相位展开相同。二维面内的自由度比一维更大，因此可能存在很多不同的展开路径。根据展开路径的不同，相位展开有以下几种：直接展开菱形展开（广度优先）调制度排序（基于可靠度的相位展开）直接展开从一点开始对一行（或列）进行相位展开，然后以该行（或列）为基准展开每一列（或行）展开过程菱形展开（广度优先）01262411N4103188122551321209192223171471516队列123425基于可靠度的相位展开（调制度排序）调制度)],(cos),(),()[,(),(yxyxByxAyxRyxIB(x,y)/A(x,y)即为调制度。调制度越小的点相位误差越大！调制度的获取条纹图调制度基于可靠度的相位展开（调制度排序）012612N4938571110队列120031702150序号调制度实际展开顺序：01326548711121091324200150170605100611078088594010651112012200展开四、高度计算远心光路2CDeh发散照明tanAChtan/0Pe五、产生结构照明的方法1、干涉法2、白光投影►被动三维传感►主动三维传感►相位测量轮廓术►傅立叶变换轮廓术►调制度测量轮廓术傅立叶变换轮廓术（FourierTransformProfilometry,FTP)原理：通过傅立叶变换和频谱滤波获取受物体高度调制的相位。优点：非接触、全场测量、精度较高、单帧测量缺点：计算量大、容易受噪声影响§4傅立叶变换轮廓术投影条纹采集条纹傅氏变换滤波逆傅变换截断相位相位展开计算高度一、测量原理罗奇光栅投影到物体表面，得到的变形光栅可表示为：nnyxnxnfjAyxryxg)]},(2[exp{),(),(0其中f0是光栅像的基频，r(x,y)是物体表面非均匀的反射率，Φ(x,y)是物体高度分布引起的相位调制。当h(x,y)=0,即对参考平面R测量时，变形光栅像为：nnyxnxnfjAyxg)]},(2[exp{),(000对两个条纹分别做二维傅立叶变换，变形光栅的频谱剖面如图f|G(f,y)|Q0Q1Q2Q3Of0变形光栅像的空间频率对频谱滤波，取出图中阴影所示的基频分量，然后作逆傅立叶变换后光场分布为：)]},(2[exp{),(),(01yxxfjyxrAyxg对参考面做同样的处理，得：)]},(2[exp{),(0010yxxfjAyxg提取相位并相减，得到只受高度调制的相位：)]},(*),(Im{ln[),(0yxgyxgyxdfyxyxlyxh002),(),(),(另一种消除基频的方法：移频基频滤出后将其频率中心平移到整个频谱的中心，即f=0处。f|G(f,y)|Of0移频二、改进的傅立叶变换轮廓术（ImprovedFourierTransformProfilometry,IFTP）方法：采用正弦光栅投影，同时采用π相位技术获取另一个π相移的变形条纹。将两幅条纹图相减，消去背景影响，从而消去零频的影响。)],(2cos[),(),(),(01yxxfyxbyxayxg]),(2cos[),(),(),(02yxxfyxbyxayxg)],(2cos[),(),(0yxfyxbyxa两式相减可以得到)],(2cos[),(2),(0yxxfyxbyxg频谱比较5010015020