搜索
1三维重建技术简介一、视觉理论框架1982年，Marr立足于计算机科学，首次从信息处理的角度系统的概括了心理生理学、神经生理学等方面已经取得的重要成果,提出了一个迄今为止比较理想的视觉理论框架。尽管Marr提出的这个视觉理论框架仍然有可以进行改进和完善的瑕疵,但是在近些年,人们认为,计算机视觉这门学科的形成和发展和该框架密不可分。第一方面,视觉系统研究的三个层次。Marr认为,视觉是一个信息处理系统,对此系统研究应分为三个层次:计算理论层次,表示与算法层次,硬件实现层次,如下图所示:计算机理论层次是在研究视觉系统时首先要进行研究的一层。在计算机理论层次，要求研究者回答系统每个部分的计算目的与计算策略，即视觉系统的输入和输出是什么，如何由系统的输入求出系统的输出。在这个层次上，将会建立输入信息和输出信息的一个映射关系，比如，系统输入是二维灰度图像，输出则是灰度图像场景中物体的三维信息。视觉系统的任务就是研究如何建立输入输出之间的关系和约束，如何由二维灰度图像恢复物体的三维信息。在表示与算法层次，要给出第一层中提到的各部分的输入信息、输出信息和内部信息的表达，还要给出实现计算理论所对应的功能的算法。对于同样的输入，如果计算理论不同，可能会产生不同的输出结果。最后一个层次是硬件实现层次。在该层次，要解决的主要问题就是将表示与算法层次所提出的算法用硬件进行实现。第二方面，视觉信息处理的三个阶段。Marr认为，视觉过程分为三个阶段，如表所示：2第一阶段，也称为早期阶段，该阶段是求取基元图的阶段，该阶段对原始图像进行处理，提取出那些能够描述图像大致三维形状二维特征，这些特征的集合构成所构成的就是基元图(primarysketch)。第二阶段也称中期阶段，是对环境的2.5维描述，这个阶段以观察者或者摄像机为中心，用基元图还原场景的深度信息，法线方向(或一说物体表面方向)等，但是在该阶段并没有对物体进行真正的三维恢复，因此称为2.5维。第三阶段也称为后期阶段，在一个固定的坐标系下对2.5维图进行变换，最终构造出场景或物体的三维模型。二、三维重建技术现状目前三维重建的方法大致可分为三类，即:用建模软件构造的方式，多幅二维图像匹配重建的方式以及三维扫描重建的方式。对于第一种方式，目前使用比较广泛的是3DMax,Maya,AutoCad以及MultiGen-Creator等软件。这些三维建模软件，一般都是利用软件提供的一些基本几何模型进行布尔操作或者平移旋转缩放等操作，来创建比较复杂的三维模型。这样所构建出来的模型，比较美观，而且大小比例等非常精确。然而，这需要建模者精确知道三维场景的尺寸、物体位置等信息，如果没有这些信息，就无法建立精准的模型。第二种方式是利用实时拍摄的图像或者视频恢复场景的三维信息。这种方式是基于双目立体视觉，对同一物体拍摄不同角度的图像，对这些图像进行立体匹3配，获取物体的三维信息。目前来说，比较成熟的基于双目立体视觉的三维重建系统主要有Faugeras等人设计的从图像序列中重建建筑物的三维重建系统、Bougnoux等开发的TotalCalib系统、比利时K.ULeuvenUniversity的I'ollefeys等人开发的三维表面自动生成系统以及剑桥大学计算机视觉研究组开发的PhotoBuilder三维重建系统。这利方式比较实用，造价低廉，只需要一台普通的照相机或者摄像机，然而此种方式也有它的缺点，对于同一个物体在拍摄多幅照片时，如果每次移动的距离不同，则恢复出来的三维信息，就会相差很多。而且此种方式的精确度不高。所以，在对精度要求很高的行业中(比如精密仪器制造、汽车零部件制造等)，非常不实用。另外，此种方式仍然需要大量的手工操作，比如上面提到的Pollefeys三维重建系统。因此，基于图像的三维重建方法的一个研究重点是如何避免过多的人工操作。第三种方式是用三维扫描设备对物体表面进行扫描。三维扫描设备分为接触式设备和非接触式设备两种。这种方式能够得到比较精确的三维信息。但是，此种方式的造价比较高，普通人群无法承受三维扫描设备的昂贵价格。接触式的三维扫描设备，必须接触到物体的表面，这样就无法避免的会对物体表面造成一定压力，甚至会对物体产生损害，这对于文物保护等行业来说，显然是不可接受的。非接触式三维扫描设备将激光或可见光投射到物体表面，然后利用各种感光器件对发射的光进行感光，再利用各种技术计算出物体表面深度信息。目前较成熟的方法就是激光扫描法。美国的SIIarp_Shape公司，Footmanaeement公司和英国的CSM3DInternational公司都利用激光扫描技术开发出成型的人体扫描仪。但是激光扫描耗时较长，无法做到实时生成三维模型。上述几种获得三维信息的方式，都有各自的优缺点。对于上述的第二种方式，研究人员对之加以改进，提出了一种基于结构光投影的三维重建方式，目前，国内利用此种方式开发的三维重建系统还很少且不成熟。这种方式尽管没有激光扫描那么高的精度，但是造价低廉，而且操作比较简单，比起传统的方式，没有太多影响精度的人工操作，是目前最有发展前途的实用型三维重建技术之一。三、基于结构光投影的三维重建方式1.结构光技术简介物体的三维信息获取和表面几何形状是机器视觉研究的一个重要方向，获取4物体三维信息的技术有多种，如被动视觉和主动视觉等技术。当需要重建曲面物体的几何形状描述时，就要求获取的物体三维数据具有准确度高覆盖全面的特点。由于双目视觉系统对于表面没有特征点的物体的表面无法进行很好的识别与重建。因此基于结构光的主动视觉技术得到了广泛的认可和应用。目前结构光技术被认为是对物体表面进行重建的最可靠的技术之一。结构光技术将双目视觉中两个摄像机中的一个替换为投影仪。通过投影仪将已知图案投射到物体表面，投影的图案会随着物体表面的高度而产生变化，通过摄像机得到的物体表面变形的图案来计算物体表面三维信息。结构光技术利用投影仪的投影解决了双目视觉中匹配的问题。由于结构光技术拥有非接触、准确、测量范围大等优点，因此被应用于工业领域的各种元件的质量测量，三维信息检测等。将结构光图案投射到待加工板材的背面，通过摄像机拍摄加工过程中板材的形状变化可以实现对板材变形过程的三维重建，对于研究材料的特性和改进生产技术提供了完整的数据。利用多台摄像机和结构光相结合的技术可以加工元件的各部分的垂直性进行检测，与传统的检测技术相比拥有快速，在线，非接触和显著的准确性等优点。弹性网状材料在缠绕或者展开过程中的振动是制约网状材料传输的速率的重要因素，利用结构光技术可以实现对于网状材料缠绕过程中振动频率和振幅的实时，非接触测量。2.基于结构光投影的三维重建方式的国外研究发展国外的结构光技术在室内环境中主要应用于人体的面部和手部等部位的重建。部分学者已经将结构光技术应用在更广泛的工业测量技术中实现对零件的非接触精确测量。BoulbabaBenAmor,MohsenArdabilian和LimingChen通过结合结构光和双目视觉对人脸进行了三维重建。首先通过双目视觉获得人脸部分的二维特征，然后通过结构光技术得到人脸的三维信息，将人脸的二维特征图像覆盖到脸部三维图像的表面实现了对人脸的实现了三维重建。JiyoungPark,CheolhwonKim，JunehoYi和MatthewTurk,用结构光技术获得图像中准确的深度边缘信息，为人手部动作和身体姿态的识别提供信息。FilaretiTsalakanidoua,FrankForster,SotirisMalassiotis，MichaelG.Strintzis通过将彩色的结构光投射到人的面部，对人脸进行三维重建，利用人脸的三维信息对人脸进行识别，5克服了传统的基于人脸二维图像识别中严重受制子光照，姿态等因素的缺点。S.Boveriea,M.Devy,F.Lerasle利用点状结构光对汽车内部空间的占用情况进行测量和分类，来降低安全气囊误启动的几率。D.Q.Huynh利用了交比不变性提出了一种新的投影仪标定方法，优化了标定过程并且提高了实验精度。Ming-JuneTsai,Chuan-CherigHung通过DMD(数字微镜装置)投影设备和高精度摄像机将结构光的测量精度提高到了3um，ChangsooJe,SangWookLee和Rae-HongPark利用两幅对比强烈的投影图像投射到待测量物体表面，虽然需要多待测物体进行两次投影和两次拍摄，但是这两次高对比的投影图案投射后得到的图像经过处理后可以消除物体表面颜色和纹理的影响，扩大了结构光的应用范围。FrodeGrytten,EgilFagerholt,TrondAuestad将结构光投射到加工铝板的背面，实现了对于穿孔过程的动态信息重建。PeterLindsey和AndrewBlake利用结构光技术实现了对于运动物体表面的实时跟踪。JordiPages,JoaquimSalvi和CanesMatabos在网状的结构光的竖直和水平两个方上利用颜色进行编码，提高了对图像进行分割和解码时的鲁棒性。A.Dipanda,S.Woo利用激光束点阵投影结构光系统实现对物体三维形状的实时重建，提出了自动获得系统构造参数的算法。DavidFofi,JoaquimSalvib,E1MustaphaMouaddiba利用结构光技术提出了一种不需要标定就可以对物体表面进行重建的算法。OleksandrA.Skydan,MichaelJ.Lalor,DavidR.Burton提出了利用多个不同位置的投影仪对待测量物体表面投射不同颜色的投影和傅立叶变换实现对物体的三维重建。3.基于结构光投影的三维重建方式的国内研究发展国内对于结构光技术的研究还主要集中在室内环境中的应用。主要研究范围集中在投影图案的设计和摄像机标定的方法。喻擎苍等提出了一种针对移动物体的二元编码的小型网格结构光，利用复杂的网格形状取代颜色信息来实现代码的唯一性。岳慧敏等提出了基于傅立叶变换的复杂编码方法对投影图案进行编码的新的编码方法。张广军等提出在平面标准板上设定特征点来实现对于结构光系统的标定。王光辉等利用三种特定的基本颜色对投影图案编码，这种编码方式虽然不能保证编码的唯一性和对物体表面突变部分的识别，但是在选取这三种基本颜色时，可以选取受物体表面颜色和纹理影6响最小的颜色进行编码，获得物体表面的三维信息后，将物体表面的二维图像信息覆盖到三维物体表面，实现对物体的重建。张广军等通过多个摄像机和激光投影仪完成了对于加工部件垂直性的检测。B.Zhang提出了基于平面单应性的自身再标定结构光系统，通过对视场中一投影平面进行拍摄就可以完成对于结构光系统的自身再标定处理。万波，张大朴提出一种完全线性的针孔摄像机标定方法。在己知一个消隐点的情况下，利用交比不变性及消隐点的知识对摄像机进行标定。张洪波，李元宗利用透镜成像理论建立摄像机数学模型，经过畸变分析提出一种实验要求低、标定参数全面的标定方案。解决了其它线性方法中部分内部参数的标定问题，避免了传统非线性优化的繁琐和不稳定，有效地提高了标定精度。张颖康，李雅轩，孟军英设计了一种标定多摄像机视觉系统的方法，在多摄像机场景中，放置共线的2点(一维标靶)并使其围绕1个固定端点摆动;通过多摄像机从各自角度同步拍摄，标定出各摄像机含径向畸变系数的内外参数。王以忠，李琳，黄华芳提出了一种基于双目线结构光主动三角法的视觉系统的简单标定方法.该视觉系统采用线结构光原理，使用双目摄像机避免了常用的单摄像机系统中容易出现的遮挡等问题。刘维一，王肇沂，母国光，方志良研究了一种用彩色条纹对光栅进行数字编码的方法。其中投影光栅用白、红、绿、蓝和它们的补色黑、青、品、黄按照四位二进制原理对光栅进行编码。综上所述，虽然现阶段结构光技术更为适合在室内环境中物体的表面进行测量以对其表面进行重建。而彩色结构光虽然容易受到环境和物体表面影响，但是其具有基本代码多，编码唯一性等优点，并且可以对运动物体进行重建，因此受到许多研究者的重视。