搜索
讲座25：从运动中恢复结构(SFM)从运动恢复结构(SFM)•给定一个来自随着时间运动的摄像机的流场集合或者置换向量，它们决定了：•摄像机位置的序列•场景的3D结构SFM”杀手级应用”•运动匹配•追踪一个通过视频序列得到的特征点的集合•推断摄像机的位置和被追踪的3D点的位置•根据推断出的场景或者摄像机的3D几何来渲染合成物运动匹配例子•来自的例子“Hart’sWar”和“GrahamKimpton”•MatchMoverProfessionalgallery.Copyrighted.因数分解•Tomasi和Kanade，“在正交投影(Orthography)下从图像流中得到形状和运动”，InternationalJournalofComputerVision(IJCV)，Vol9，pp.137-154，1992.•目标：结合多个框架中的多个点的相关信息来解决场景结构和摄像机运动(SFM)•方法：基于使用SVD的稳定数值方法，还有观测点位置的因子矩阵•历史意义：知道现在，大多数SFM处理的都是具有最小配置的无噪声的数据。因数分解是最先“实用SFM算法”中的一个。回顾：世界坐标到摄像机坐标的转换PC=R(PW-C)P𝑥𝐶𝑝𝑦𝐶𝑝𝑧𝐶1=𝑟11𝑟12𝑟130𝑟21𝑟22𝑟230𝑟31𝑟32𝑟3300001100−𝑐𝑥010−𝑐𝑦001−𝑐𝑧0001𝑃𝑥𝑊𝑃𝑦𝑊𝑃𝑧𝑊1PC=Mext·PW透视投影•非线性方程•在光线OP上的任一点都有镜像P透视投影•透视投影：平行线相交于一个消失点；远的物体看起来变得小简化：弱透视•弱透视=平行投影(平行线仍然保持平行)+根据物体的距离把物体的大小放缩到一个合适的比例。更简单：正投影•纯正的平行投影。非常简化的情况。我们甚至忽略了根据距离的远近进行大小的调增。透视矩阵方程摄像机坐标实用齐次坐标𝑥′𝑦′𝑧′=𝑓0000𝑓00001𝑓𝑋𝑌𝑍1这个矩阵方程表明了前面的映射关系弱透视估计使用齐次坐标𝑥𝑦=𝑓𝑧00000𝑓𝑧000𝑋𝑌𝑍1考虑下正交的情况使用齐次坐标x=X𝑥𝑦=10000101𝑋𝑌𝑍1y=Y把这些参数结合起来𝑥𝑦=10000100𝑟11𝑟12𝑟130𝑟21𝑟22𝑟230𝑟31𝑟32𝑟3300001100−𝑐𝑥010−𝑐𝑦001−𝑐𝑧0001𝑃𝑋𝑊𝑃𝑌𝑊𝑃𝑍𝑊1𝑥𝑦=𝑟11𝑟12𝑟130𝑟21𝑟22𝑟230100−𝑐𝑥010−𝑐𝑦001−𝑐𝑧0001𝑃𝑋𝑊𝑃𝑌𝑊𝑃𝑍𝑊1把这些参数结合起来𝑥𝑦=𝑟11𝑟12𝑟130𝑟21𝑟22𝑟230100−𝑐𝑥010−𝑐𝑦001−𝑐𝑧0001𝑃𝑋𝑊𝑃𝑌𝑊𝑃𝑍𝑊1xy=𝑟11𝑟12𝑟13𝑟21𝑟22𝑟23PXW−C𝑥𝑃𝑌𝑊−𝐶𝑦𝑃𝑍𝑊−𝐶𝑧正交：代数方程iTxy=𝑟11𝑟12𝑟13𝑟21𝑟22𝑟23PXW−C𝑥𝑃𝑌𝑊−𝐶𝑦𝑃𝑍𝑊−𝐶𝑧X=iT(P-T)Y=jT(P-T)jTPT多点，多框架标记(下标的必杀技)X=iT(P-T)NpointsY=jT(P-T)P1P2...PJ...PNFframes:i1i2...Ii...iFxij=iiT(Pj-Ti)j1j2...Ji...jFYij=jiT(Pj-Ti)T1T2...Ti...TF因式分解方法X=iT(P-T)NpointsY=jT(P-T)P1P2...PJ...PN(我们想要恢复这些)注意这些集合点的绝对位置是不能被绝对的恢复的，所以...第一步：设置世界坐标系统的原点为通过这N个点的中心1𝑁𝑃𝑖𝑁𝑖=1=0因式分解方法X=iT(P-T)在0处的质心：Y=jT(P-T)1𝑁𝑃𝑖𝑁𝑖=1=0表达为：𝑥𝑖𝑡=注意：这是在t框架中的x坐标的中心因式分解方法第二步：在每个框架中减去2D点的中心。（中心化）因式分解方法我们到目前为止都完成了什么？1.从等式中去除了位置的摄像机位置信息.2.更重要的是，wecanwriteeverythingasabigmatrixequation...因式分解方法在一个中心化的矩阵中，图像点。因式分解方法因式分解方法2F*N2F*33*NW=MS中心“运动”结构测量摄像机旋转3D场景点矩阵2F*N2F*33*NW=MS秩理论：那个2F*N中心观察矩阵的秩最多是3证明：使用下列性质：m*n矩阵的秩最多是min(m,n)A*B的秩最多是min(rank(A),rank(B))矩阵的秩矩阵的秩是什么呢？行(列)是线性无关。如果矩阵A是线性映射，就会被映射到空间的内部维度。因子分解秩理论秩理论的重要性：表明视频数据的冗余性是非常高的。精确的确定冗余量提供一种解决SFM的算法因式分解方法矩阵W的SVD量度：2F*N2F*2F2F*NN*NW=UDVT特征值以降序排列的对角矩阵：d11=d22=d33=...矩阵W的SVD量度：2F*N2F*2F2F*NN*NW=UDVT另外有用的秩的性质：矩阵的秩与非零特征值的数量相等d11，d22，d33是唯一的非零特征值，其余的都是0。在实际中，由于噪声的原因，可能会有3个以上的非零特征值，但是秩理论告诉我们忽略除了最大的三个以外的特征值。惹人厌的细节问题：1.这不是一个唯一的分解。eg:(MQ)(Q-1S)=MQQ-1S=MS2.iT，jT对(M的行)不是必须正交。解决这些惹人厌的细节这些问题的解决方案：为了解决Q的问题，M的适当的行应满足：3N的方程中有9个未知数但是这些是非线性方程使之线性和可迭代(使用牛顿方法，或者是Choleskydecomposition)因式分解的总结假设正交相机N个非共面在F=3个平面上被追踪从中心化的测量矩阵W=[𝑋；𝑌]哪里有𝑋ij=Xij–mxj哪里有𝑌ij=Yij–myjmxj，myj是框架i中点的平均值j的范围跨度为整个点的集合秩理论：中心化的测量矩阵的秩最多是3.因式分解算法1.在F个框架中，从中心化测量矩阵W中追踪N个点。2.计算W=UDVT的SVDU是2F*2FV是2F*NVT是N*N3.取三个最大的特征值，形成：D’=3*3最大特征值对角矩阵U’=2F*3U中的相关列向量矩阵V’T=3*NVT中的相关行向量4.定义M=U’D’1/2，S=D’1/2V’T5.解决Q使M适当的行正交6.最终解决方案是M*=MQ还有S*=Q-1S例子的结果例子的结果