第2章 二维运动估计

数字视频处理黎洪松主编北京邮电大学出版社第2章二维运动估计•2．1概述•根据摄象机和目标物体的运动状态,运动可分为：摄像机不动物体不动，摄像机不动物体动，摄像机动物体不动和摄像机动物体动4种。2.1.1几个基本概念•1．时间序列图像•运动估计主要是研究空间中的物体运动情况。为了观察物体的运动，人们将摄像机放置在三维空间的某一位置上，对运动物体进行观测，所拍摄到一系列图像称为时间序列图像或运动图像。2．运动物体特征•任何一个运动物体都有其自身的特征，例如一些尖锐点、边缘直线、边缘曲线等，它们分别称为特征点、特征直线、特征曲线等。物体在空间中运动时，只要是在观察者的可视范围内，物体上的特征就均可以在视频图像上反映出来。3．运动估计的基本问题•由摄像机模型知道，摄像机的投影过程是不可逆的，投影过程中将不可避免地丢失一些有用信息，例如物体的深度信息等，因此估计物体的真实运动和结构是比较困难的。图2-1特征点对应运动模型的几何图形),,(ZYXP),,(''''ZYXP),,(ZYX),(yxp),('''yxp),(yxxyXYZO4．运动分析方法1.根据时间相邻的两幅或多幅图像求解物体的运动参数和三维结构信息；2.图像序列的光流分析方法。图2-2真实运动与光流不一致的情况(a)(b)2.1.2二维运动估计图2-3前向运动估计和后向运动估计x);,(tdttxdxx);,(tdttxdtdttdtt前向运动估计后向运动估计二维运动估计存在几个问题：1.遮挡问题，即图像中的某些像素可能不存在对应点。2.孔径问题，也称为多义性问题。3.噪声问题，在生成视频图像的过程中，噪声是不可避免的。2.1.3二维运动模型及估计方法•为了有效地进行运动估计，需要对真实运动施加一些约束条件，即对运动建模。我们可以将二维运动模型粗略地分为参数模型和非参数模型。(a)基于像素的运动;(b)基于块的运动;(c)全局运动;(d)基于区域的运动图2-6(a)(b)(c)(d)2．2基于光流的运动估计2.2.1光流方程0tvyvxyx0tTv或nnvettvevxy图2-7光流v的分解ttnnvveev0tvn将光流v分解为两个正交的分量利用有限差分求微分的公式)1,1,()1,1,1()1,,()1,,1(),1,(),1,1(),,(),,1(41knmknmknmknmknmknmknmknmx)1,,1()1,1,1()1,,()1,1,(),,1(),1,1(),,(),1,(41knmknmknmknmknmknmknmknmy),1,1()1,1,1(),1,()1,1,(),,1()1,,1(),,()1,,(41knmknmknmknmknmknmknmknmt2.2.2多点邻域约束•估计像素xi的光流矢量时，假设xi邻域B(xi)内的所有像素具有相同的光流矢量，光流方程在邻域B(xi)上的误差定义为Bxx2)(tvyvxwEyx求解光流矢量BBBBBBxxxxxxxxxxxxtywtxwyywyxwyxwxxwvvyx)()()()()()(ˆˆ12.2.3运动平滑约束•目标误差函数为Axxvvv)d)()(()(22ssofeweE22)(tvyvxeyxofv222)(yxsvvev2222)()()()(yvxvyvxvyyxx迭代更新公式22)()()()1(yxwtvyvxxvvslylxlxlx22)()()()1(yxwtvyvxyvvslylxlyly2.2.4有向平滑约束•有向平滑约束可表示为)()()()()(2yTyxTxdsvvvveWWv）（IFIFWtr2．3基于像素的运动估计•2.3.1位移帧差•定义像素x从t1时刻到t1+dt时刻的位移帧差为：)()(),(),(),(1211xdxxdxdxtdtettyxtdtdydxtdt),(),(xdxtyxdtdydxe),(dx2.3.2多点邻域约束•假设xi邻域B(xi)内的所有像素具有相同的运动矢量，则可通过最小化邻域B(xi)上的位移帧差函数求解运动矢量di。•邻域B(xi)上的误差函数可表示为)(212))()()((21)(iiiwExxxdxxdB•误差函数关于运动矢量的梯度为)(2)(),()()(iiiiiewEExxxddxdxxddB)()()1(ililiEdddd•使用基于一阶梯度下降的方法求解运动矢量，则更新公式可写为2.3.3像素递归法•1．基本概念•像素递归法是指沿图像扫描方向逐个估计像素的运动矢量。新像素的运动矢量首先由已估计的像素进行预测，然后基于位移帧差函数最小化的方法来更新运动矢量。可表示为);,();,();,(ttptdtdtdtxuxdxd2．基于梯度下降的算法•像素递归方程为)(),()(2)()()1(lllledxdxddx•Caffario和Rocca提出另一个类似的步长表达式22)(2)(1ldxx3．多点邻域约束图2-8因果邻域123456x1～6为先前估计过的像素，x为当前像素BBxxxdxdxdx2122)]()([)],([),(ieE2.3.4基于贝叶斯准则的方法•贝叶斯准则是基于运动估计问题的概率公式，视频图像函数和运动场均视为随机场，由概率密度函数建模，分别称为观察模型和运动场模型。•给定两帧视频图像和，运动场估计可以看成一个最大后验概率（MAP）问题，即)(1x)(2x),|(maxarg21dddpMAP)|()|(),|(),|(1211221ppppddd•运动场最大后验概率估计可简写为)|(),|(maxarg112ddddppMAP1、似然模型•由于存在噪声，像素沿运动轨迹的亮度通常会发生改变。若假定噪声为高斯分布，且均值为零，方差为，那么条件概率密度函数可建模为2),|(12dpxxdxd21222/||212))()((21exp)2(),|(p2、先验模型(a)4像素邻域及其团(b)8像素邻域及其团图2-9吉布斯（Gibbs）随机场的团•运动场的先验概率密度函数可定义为CccVQp)|(exp1)|(11ddd•对于一个包含两个像素的团，势函数可写成如下形式2)()())(),((jijicVxdxdxdxdd2．4基于块的运动估计•2.4.1概述•在基于块的运动估计中，先将视频图像分成一个个规则的图像块，然后对每个图像块估计运动参数。1．块平移模型•块平移模型假定每个块只做二维平移运动。给定两帧视频图像和，对于中的一个块，可由中一个同样大小的块重建，即)(1x)(2x)(1xB)(2x)(|)(21dxxxB图2-10块平移模型)(1x)(2x(a)非重叠块(b)重叠块)(1x)(2x2．可变形块运动模型•可变形块运动模型可以对物体的旋转、缩放、变形等建模。块的运动参数不再是简单的一个平移参数，而是一些空间变换参数，常用的可变形块运动模型有投影运动、仿射运动、双线性运动等。•投影运动：yycxcybxbbxycxcyaxaayxdyxdyx212102121011),(),(•仿射运动：ybxbbyaxaayxdyxdyx210210),(),(•双线性运动：xybybxbbxyayaxaayxdyxdyx32103210),(),(2.4.2相位相关法•相位相关法广泛用于图像配准，即两幅图像只发生全局平移的情况。假设两帧图像和之间只是纯平移关系，有)(1x)(2x)()(21dxx•互相关函数为)()()()()(21212,1xxxxxc),(),(),(212,1yxyxyxffffffC•互功率谱•归一化互功率谱为),(2,1yxffC),(),(),(),(),(~21212,1yxyxyxyxyxffffffffffC)(2exp),(~2,1yyxxyxfdfdjffC相位相关函数),(),(~2,1yxdydxyxc相位相关法的优点1.由于相位相关函数被归一化，因此只引起幅度变化的照明变化等因素不会影响傅立叶相位2.当块内有多个物体时，相位相关函数表现出多个峰值，每个峰值的位置对应一个运动物体的平移运动，可以为块内每个物体或像素估计一个运动矢量。2.4.3块匹配法•1、基本原理图2-11块匹配法)(1x)(2x搜索窗sN21sN221N2Nx2、匹配函数•归一化互相关函数（NCF）2/1222/12121)()()()()(BBBxxxdxxdxxdNCF•均方误差（MSE）Bxxdxd21221)()(1)(NNMSE•绝对值误差（MAD）Bxxdxd)()(1)(1221NNMAD•匹配像素数（MPC）Bxdxxd))(),(()(21NMPC3、搜索算法•最简单也是最精确的匹配块搜索算法是进行全搜索，称为全搜索块匹配算法（EBMA）。•全搜索就是逐一计算当前块和搜索窗内所有候选块之间的匹配函数，相邻两个候选块之间的距离称为步长，全搜索的步长为一个像素，称为整数像素精度搜索。4、分数精度•由于物体真实的运动未必为整数值，因此为了提高运动估计的精度，可以使用分数像素精度进行搜索，即搜索步长为分数值。此时，对于当前帧内的某个块，参考帧需要进行内插操作。（实心点为原取样点，空心点为新插值的半像素点）图2-12半像素精度匹配当前块匹配块d2.4.4降低计算复杂度的方法•常用方法有：一是在不降低估计精度的前提下减少计算量；一是以牺牲估计精度为代价来降低计算量，即所谓的快速搜索算法。1．不降低估计精度的搜索方法（1）部分失真搜索法（2）三角不等式法2．快速搜索算法（1）三步搜索法（2）新三步搜索法（3）二维对数搜索法（4）交叉搜索法（5）菱形搜索法2.4.5可变形块匹配法•1．基本概念•假设节点数为K，dk表示k第个节点的位移矢量，块内像素点的位移矢量可用如下内插公式表示kKkkdxxd1)()(图2-19块运动中块内像素的运动内插1d2d3d4d12341231d2d3dxx•标准三角形（图2-20（a））的形状函数：yxyxyyxxyx1),(,),(,),(321•标准四边形（图2-20（b））的形状函数：4/)1)(1(),(4/)1)(1(),(21yxyxyxyx4/)1)(1(),(4/)1)(1(),(43yxyxyxyx图2-20内插核函数1111-1-1xyy1231423(a)(b)2．节点的运动估计•运动矢量的迭代方程可表示为g