三维重建

基于图象的三维重建----分层重建方法中国科学院自动化研究所模式识别国家重点实验室胡占义1、什么是分层重建？2、分层重建的主要步骤和任务3、如何进行分层重建主要内容什么是基于图象的三维重建？NjMiXPUjiij,,2,1;,,2,1重建算法图象I1~IM投影矩阵P1~PM重建后的空间点XI1I2I3XP1P2P3PMIM重建问题可行吗？仅仅已知图象重建算法能得到什么？分层重建图象射影仿射欧几里得射影空间仿射空间欧氏空间低层高层三种空间之间的相互关系4321444342413433323124232221141312114321xxxxaaaaaaaaaaaaaaaayyyy110001321343332312423222114131211321xxxaaaaaaaaaaaayyy110001321343332312423222114131211321xxxarrrarrrarrryyy射影变换仿射变换刚体变换射影变换仿射变换刚体变换交比不变，共线、共面性不变平行线变为平行线，不能保持垂直关系，单比不变平行线变为平行线，垂线变为垂线，线段的长度不变不同空间下的若干性质交比(crossratio)和单比ABDCBDADBCACABDABCCDAB)()(),(Hartley的重要发现I1INP1PNX重建算法NjMiXPUjiij,,2,1,,2,1UXXE欧氏空间?基于图象的重建结果与欧氏空间已知点的关系存在且仅存在一个A矩阵，使得下列关系成立PiE=PiAXE=A-1XNNNEEEEtRKPtRKPtRKPIKP22211100欧几里得空间下射影矩阵的形式PXU不同空间下重建的定义如果则XAPAU1当A为射影变换矩阵时，称此时的重建为射影重建当A为仿射变换矩阵时，称此时的重建为仿射重建当A为刚体变换矩阵时，称此时的重建为欧氏重建PEXEX,PUPE，XE欧氏空间欧氏变换欧氏重建射影变换射影重建仿射变换仿射重建对应点自动建立对应点自动建立对应点自动建立对应点自动建立原始图像对应点匹配从三个不同角度显示射影重建的结果从三个不同角度显示欧氏重建的结果贴纹理显示射影重建给定M幅图象，N个对应点:NjMiUij,,2,1;,,2,1求M个投影矩阵MpppPPP,,,21和N个空间点NXXX,,,21使得下列关系式成立NjMiXPUjipij,,2,1;,,2,1,射影空间投影矩阵的具体形式11)1(22211100MMpMpppeHPeHPeHPIP仿射空间投影矩阵的具体形式111)1(2122111100MMaMaaaKtKKRPKtKKRPKtKKRPIP仿射空间投影矩阵与射影空间投影矩阵之间的关系根据Hartley的理论，1,,2,1,0,MiAPPipia从mAAAIIT211211001,0,1211mAIA1010000100001321aaaA注意：A对所有的Pi都一样仿射重建在射影重建的基础上如何确定A矩阵1010000100001321aaaA1,,2,1,0,MiAPPipiaNNNEEEEtRKPtRKPtRKPIKP22211100欧几里得空间下射影矩阵的形式欧氏空间投影矩阵与仿射空间投影矩阵之间的关系100TiaiEKPP分层重建小结射影重建仿射重建欧氏重建1010000100001321aaaAK重建算法射影重建•基于二幅图象的方法•基于因式分解的方法（Factorization)仿射重建•基于模约束的方法(ModularConstraint)•基于摄像机平移运动的方法欧氏重建－－－线性方法射影重建基于二幅图象的重建方法1、计算第一、第二幅图象之间的基础矩阵F，第二幅图象的外极点e；2、可以证明，eFePIP][0213、利用P1，P2，计算空间点X的坐标XPUXPU2221114、利用已得到的X求其它Pi.I1I2XF，eP1,P2P1,P2其它Pi基于二幅图象的重建方法基于因式分解的射影重建方法由于NjMiXPUjiijij,,2,1;,,2,1MNMNMMMMNMNMUUUUUUUUUW221122222221211112121111NNMMXXXPPP4214321ij?基于因式分解的射影重建方法（续）关键问题是求合适的，使得W矩阵的秩为4ij目前文献中有二种方法计算合适的ij1、SturmandTriggs方法（ECCV’96〕，建立之间的连接关系（使用图象间的F矩阵和外极点e)2、UeshibaandTomita方法（ECCV‘98），利用SVD分解，极小化从第5个以后的奇异值。ijjpipijjpijipijipUeUFUe2),3(52NMMiniiJMinij}{1、2、＝仿射重建（模约束方法）TiiiTiiTipiaiiiaaeHKKRaIeHaIPPeKKRP11101001223mmmaeHITii31220mmm321仿射重建（摄像机平移运动方法）111111100eIPIReKKRPIPaaa平移运动然后利用射影重建方法进行重建，所得结果为仿射空间下的重建欧氏空间的重建（MetricReconstruction)TTTiaTiiaiiaiiaiiiaKRHKKRKHKKRHeHeKKRP11TTiaTiaKKHKKH