光学辅助真实感三维建模方法研究

深圳大学博士学位论文光学辅助真实感三维建模方法的研究学位申请人姓名刘星明专业名称光学工程学院（系、所）光电工程学院指导教师姓名彭翔教授分类号TP学校代码10590UDC620密级公开深圳大学学位论文原创性声明和使用授权说明原创性声明本人郑重声明：所呈交的学位论文是本人在导师的指导下，独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不含任何其他个人或集体已经发表或撰写过的作品或成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本声明的法律结果由本人承担。论文作者签名：日期：年月日学位论文使用授权说明（必须装订在印刷本首页）本人完全了解深圳大学关于收集、保存、使用学位论文的规定，即：1.按照学校要求提交学位论文的印刷本和电子版本；2.学校有权保存学位论文的印刷本和电子版，并在图书馆内和校园网内提供全文阅览服务；3.学校可以采用影印、缩印、数字化或其它复制手段保存学位论文；4.学校可以将学位论文的全部或部分内容编入有关数据库进行检索和阅览，并为与图书馆存在合作关系的非营利机构提供包括文献传递和文献交换在内的合理使用服务。 （保密的学位论文在解密后适用本授权）论文作者签名：导师签名：日期：年月日日期：年月日光学辅助真实感三维建模方法的研究I摘要真实感三维建模以其逼真的三维数字化模型或场景、以及自由的交互性成为认识世界的重要途径，在数字游戏、文物保护、虚拟现实、影视艺术以及医学成像领域具有广泛的应用价值和研究意义，是连接现实生活和虚拟世界的桥梁。本论文针对光学辅助真实感三维建模方法及相关技术展开研究。首先对光学辅助真实感三维建模方法涉及的基本原理、国内外研究现状和发展趋势作了综述，然后描述了光学辅助真实感三维建模技术的应用领域、及论文的选题来源和研究目标。本论文就涉及真实感三维建模的几何模型重建、相机标定、纹理融合等几个关键技术进行了较深入分析和研究，提出了基于体积和纹理特征的深度像匹配方法，实现了目标物体的深度像匹配；利用平面标靶对三维数据采集系统进行相机标定，通过确定相机的参数进行目标物体的空间三维重建，并进而通过确定系统纹理相机的参数进行目标纹理映射，得到目标物体的纹理模型；提出了基于复合权重的纹理融合方法和基于马尔科夫随机能量场分割及残余痕迹滤除的纹理融合方法，实现了目标物体的高精度、真实感三维重建。昀后探讨了真实感三维模型在数字化文物保护和商品展示方面的应用，分析结果表明，真实感三维建模为数字化文物保护和商品展示提供了新的工具和手段，具有巨大的应用潜力。本论文研究的主要创新点体现在以下四个方面：(1)提出并实现了基于体积和纹理特征的深度像匹配方法，该方法利用深度像重叠区域的体积和纹理特性定义深度像匹配误差测度函数，并构造三角网格来近似物体表面，通过迭代运算找到不同坐标下的深度像之间的精确空间坐标变换关系，实现目标物体深度像的精确匹配，高精度重建物体的几何模型。由于利用了物体表面的纹理信息进行深度像匹配，算法不仅具有对准精度高，收敛速度快等优点，而且对规则曲面的深度图像匹配也能取得很好的匹配效果。(2)提出并实现了基于复合权重策略的纹理融合方法。由于光照变化、物体的非完全漫反射、几何重建的误差以及匹配的精度限制等因素导致纹理结果的非自然痕迹。为了消除物体表面纹理的非自然痕迹，本文通过定义复合权重的概念来客观地评价不同视点纹理图的颜色权重，并通过对颜色权重的处理平滑物体表面纹理的不连续区域，从而生成真实感三维模型。与其他基于均值权重或边缘插值的纹理融合算法相比，本文定义的复合权重更为客观的表达了在不同观察视场下纹理图像的颜色置信度，光学辅助真实感三维建模方法的研究II有效的地实现了物体表面的纹理融合。(3)提出并实现了基于马尔科夫随机场分割及残余痕迹滤除的纹理融合方法。该方法利用马尔科夫随机场的优化策略对三维模型进行分割，并根据拍摄纹理图的视角以及纹理像素与周围像素之间相关性进行能量优化，实现了对三维模型几何网格分割的昀优化，从而降低了物体表面的纹理的不连续性；进而，对区域纹理边缘的残余不连续性进行进一步的融合处理，彻底消除物体表面纹理不连续的边缘，实现真实感三维模型的重构。(4)从原理和计算复杂度方面对所提出的两种纹理融合方法进行了分析和比较，讨论了两种纹理融合方法的优缺点和各自的适用范围。此外，还就深度像的匹配精度、几何模型的重建精度、以及纹理图与几何模型的映射精度对影响重建真实感三维模型生成的影响进行了探讨和分析。在此基础上，提出了通过捆绑调整策略使得纹理与几何模型映射误差昀小化的方法，该方法得到了实验验证。论文的所有实验工作是在课题组自主研制的三维数字化系统原型机平台上完成的。通过多视点深度图像的匹配技术，将局部坐标下获取的多视点深度像变换到世界坐标系下进行配准，得到由各个视点深度图像构成并带有冗余度的点云数据。进而，通过多视点深度像的融合消除冗余数据，并通过几何表达（例如，三角网格）得到物体的三维模型。昀后，为了生成三维真实感模型，还必须精确确定纹理相机相对于对几何模型的位置和姿态，通过纹理映射和纹理融合技术，将纹理映射到物体表面并消除由于光照变换等原因导致的物体表面纹理的不连续性，昀终生成目标物体的高精度、真实感三维模型。真实感三维建模是光学工程与计算机视觉和计算机图像学科相互交叉的重要研究内容，生成物体真实感三维模型在数字化文物保护、数字化商品展示、虚拟现实、影视特效等文化产业领域具有重要的应用潜力。关键词：纹理映射；纹理融合；相机标定；深度像匹配；网格模型；真实感三维模AnApproachforOptics-AidedPhoto-RealisticmodelingIIIAbstractPhotorealistic3Dmodelbecomesapowerfulwaytorealizenaturalworldduetothefactthatsuchamodelisquiterealisticreplicationofobjectorsceneinarealworldbutalsocanbeflexibleinteractedthroughahuman-machineinterface.Therefore,photorealisticmodelcanberegardedasabridgelinkingphysicalworldandvirtualworld.Inthissense,photorealisticmodelhasgreatapplicationpotentialinthefieldsofgamedevelopment,culturalheritage,virtualreality,filmproductionandmedicalimaging.Thisdissertationfocusesontheinvestigationofgenerationofphotorealistic3Dmodelandrelatedtechniques.Firstofall,thestate-of-the-artofoptics-aided3Dimagingandmodelingisbrieflyreviewed,andthentheresearchmotivationandgoalofthisdissertationiscomeupwith.Thegenerationofphotorealisticmodelinvolvesinseveralcoretechniquessuchasgeometricmodeling,systemcalibration,registrationandintegrationofmultiplerangeimages,texturemappingandtextureblending.Themaincontributionsofthisdissertationincludesfollowingaspects:(1)Anewregistrationtechniqueformultiplerangeimagesisproposed.Inthistechnique,wedefineanewmeasureusingthevolumeofoverlappedregionofrangeimagesandthetextureinformation.Withthismeasure,weareabletoobtainthecoarseregistrationwithhelpoftextureinformation,andfineregistrationwithaidofaniterativeoptimizationprocedure.Experimentresultsshowthatproposedmethodhasadvantagesoffastconvergenceandrelativehighaccuracycomparedwithpreviousapproachesreportedintheliteratures.Inaddition,thisalgorithmcanbeusednotonlyforirregularsurfaces,butalsoforregularsurfaces.(2)Atechniquetogenerateaphotorealistic3Dimageandcolortextured-modelusingadedicatedopticaldigitizerispresented.Theproposedtechniqueisstartedwiththerangeandthetextureimageacquisitionfromdifferentviewpointsandthenfollowedbytheregistrationandintegrationofmultiplerangeimagestogetacompleteandnon-redundantpointcloud,whichrepresentsareal-lifeobject.Theaccuracyofrangeimageandtheprecisionofcorrespondencebetweenrangeimageandtextureimageareguaranteedbysensorsystemcalibration.Basedonthepoint-cloud,ageometricmodelisestablishedbyconsideringtheconnectivityofadjacentrangeimagepoints.Inordertoenhancethephotorealisticeffectwesuggestatextureblendingtechniquethatutilizesacomposite-weightstrategytoblendthetextureimageswithintheoverlappedregion.Thistechniqueallowsmoreefficientremovaloftheartefactsexistedinregisteredtextureimage,leadingtoa3Dimagewithphotorealisticqualityandcolortexturemodel.Experimentresultsarealsopresentedtotestifythevalidityofproposedmethod.(3)Analternativemethodforhigh-qualityreconstructionofphotorealisticthree-dimensional(3D)objectsispresented.Themulti-viewrangeimagesandassociatedtextureimagesoftheobjectaresimultaneouslycapturedusingadedicatedo