搜索
第十四章第十四章二维运动估计二维运动估计第十四章第十四章二维运动估计二维运动估计图像动态变化可能由摄象机运动、物体运动或光照改变引起，也可能由物体结构、大小或形状变化引起.为了简化分析，通常我们假设场景变化是由摄象机运动和物体运动引起的，并假设物体是刚性的．摄象机和场景运动摄象机和场景运动运动分析分为四种运动分析分为四种模式模式：摄象机静止/物体静止：简单的静态场景分析．摄像机静止/场景运动：一类非常重要的动态场景分析，包括运动目标检测、目标运动特性估计等，主要用于预警、监视、目标跟踪等场合。摄象机运动/物体静止：重要的动态场景分析，包括基于运动的场景分析、理解，三维运动分析等，主要用于视觉导航、目标自动锁定与识别等．摄象机运动/物体运动：最一般的情况，也是最难的问题，目前对该问题研究的还很少．14.114.1图像运动特征检测图像运动特征检测•物体在平行于图像平面的一个平面上运动；•基于对图像序列变化的检测；•检测图像变化可以在不同的层次上进行，如像素、边缘或区域．在像素层次上要对所有可能的变化进行检测，以便在后处理阶段或更高层次上使用．14.1.114.1.1差分图像差分图像⎪⎩⎪⎨⎧−=其它如果0),,(),,(1),(TkyxfjyxfyxfDPjkf(x,y,j)帧与f(x,y,k)帧之间的变化可用一个二值差分图像表示：式中T是阈值目标运动差分图象图14.1物体运动引起的图像变化示意图(a)和(b)是取自一个运动摄象机获取的静态场景图像序列的两帧图像(c)是它们的差分图像(T=40)光照变化引起变化的差分图象图14.2光照变化引起的图像变化示意图(a)和(b)是取自光照变化的图像序列的两帧图像，(c)是它们的差分图像(T=80)11尺度滤波器尺度滤波器差分对噪声的敏感性尺度滤波器尺度滤波器尺度阈值的4-连通或8-连通成分滤掉小的连通成分，留下大于滤波器滤波器尺度阈值的连通成分运动差分图象光变化差分图象v图14.1差分图像的尺度滤波结果图14.2差分图像的尺度滤波结果22累积差分图像累积差分图像缓慢运动物体在图像中的变化量是一个很小的量，会被尺度滤波器滤掉.累积差分图像方法的基本思想是通过分析整个图像序列的变化来检测小位移或缓慢运动物体．⎩−−其它),(),(11yxDPyxFADPkk⎨⎧==00),(kyxFADPk此法还可用来估计物体移动速度的大小和方向以及物体的大小。一阶累积差分一阶累积差分将图像序列的每一帧图像与一幅参考图像参考图像进行比较，当差值大于某一阈值时，就在累积差分图像中加1。通常图像序列的第一帧作为参考图像，置累积差分图像的初始值为0，在第k帧图像上的累积差分图像为：图14.4利用累积差分图像检测的结果示意图二阶累积差分二阶累积差分二阶差分图像的构造为：对应于第n帧的二阶差分图像在(x,y)位置的值为“1”，表明在这个位置上第n-1帧和第n帧的一阶差分图像具有不同的符号⎩⎨⎧≠=−其它01),(),(1),(1kyxSADPyxSADPyxSADPkkk14.1.214.1.2时变边缘检测时变边缘检测时变边缘在动态场景图像分析中起着十分重要的作用图像分割与匹配方法同时强调时间梯度和空间梯度的作用用逻辑“与”或乘来完成图像中一点的时变边缘由下式给出：),(),,(),,(),,(),,(yxDtyxEdttyxdEdStyxdEtyxEt⋅=⋅=dStyxdE),,(dttyxdE),,(式中和分别是点的光强在空间和时间上的梯度值),,(tyx缓慢运动边缘和弱边缘遗漏问题的克服:不用一阶差分，将上式的乘积加阈值加阈值作用，然后使用边缘检测器或一阶检测边缘器算出它们的时间梯度.这种边缘检测方法将对有清晰边缘的缓慢运动和以适当速度运动的弱边缘响应．图14.5时变边缘检测器运行结果示意图该检测方法的另一特点是不需对位移大小作出假设．当边缘运动非常大时，检测性能也很好．E时间梯度和D空间梯度图14.6边缘检测器的性能曲线14.1.314.1.3运动对应性运动对应性为估计图像运动特性，必须分析并确定序列中每帧图像上的特征点．在图像各帧之间建立这些特征点的对应关系．运动图像的对应问题与立体视觉中的对应问题相似对应性问题立体视觉使用的约束主要是外极线约束;如何求运动图像的对应点一种解决对应问题方法,约束传播方法依据局部的证据找出一种正确的解释(1)(1)松弛标记松弛标记每一个节点表示一个标记区域（或物体），连结节点的弧线表示区域间的关系．假定每一个节点上有一个处理器，在每一个节点上定义集合R、C、L和P。集合R包含节点间所有可能的关系；集合C表示这些关系的相容性集合L包含所有指定给该节点的标记；集合P表示计算过程中赋予节点的所有可能的层次．在第一次迭代中，所有节点i的初始标记是所有可能的标记Pi1．第k次迭代中，标记算法将从Pik中除去无效标记，得Pik+1．去除标记的依据:节点当前标记、节点与其它节点的关系及一些约束.各处理器能独立地对其标记集合Pik进行细化．可同步工作．任一时刻处理器只使用从属于该节点对应区域的信息．每一次迭代都通过它的邻节点或关联节点把效应传播给其它没有直接关系的节点，即每一次迭代都会增加节点的影响圈图14.7并行传播示意图在标记前，系统可以得到一些有关物体的知识.标记过程中还可以利用细化节点初始知识．标记过程可以进一步细化标记集合，以使每一个区域对应唯一的标记为确定标记分配正确与否，可给每个标记加一个置信度(非负概率).表示标记是节点的正确标记的置信度标记过程实际上是使用约束来细化每个标记的置信度．置信度受连通节点的置信度影响，这样，在每次迭代中，标记节点的置信度是置信度和所有直接有关标记节点的置信度函数．每次迭代中，节点受制于其它所有有关节点的标记，然后用已知约束更新该标记的置信度．直到置信度达到一个稳定的状态(或各节点都已标记)标记结束自然,标记的置信度也可能因标记的不相容性而降低(2)(2)视差计算松弛标记法视差计算松弛标记法用松弛标记技术确定两图中对应点的视差值匹配求两幅图像中的对应点(共轭对:匹配的两个点)两点之间的视差是两点之间的位移矢量：匹配用性质离散性：各点之间明显区别的测度(一个个孤立的点)相似性：两个点之间相似程度的测度一致性：一个匹配点与邻近其它匹配点变化一致程度),(jijiijyyxxd−−=一致性测度，宏观运动特征点之间的拓扑关系等潜在匹配点的集合可以形成一个双向联接图匹配:就是从双向联接图选择一种联接图相似特性:两个潜在的匹配点相互接近的程度(关联性测度)(a)图是一个完全的双向图．A组的每一个节点与B组的每一个节点相联接．图(b)使用节点(点)的特征和其它一些知识，对应性算法将给每一个节点只保留一个联接，而消除所有其它的节点1、用角点检测器或特征检测器可从图像中检测出离散特征点．称兴趣算子(任何一种特征检测器)．该算子可检测那些至少在一个方向上光强值迅速改变的点．步骤如下：。用一个5×5的窗口计算四个方向(水平、垂直和两个对角线方向)上像素差平方和．。计算出这些方差的最大值．。抑制所有非局部最大值的点．。用一个阈值来去除弱特征点．2、对第一幅图像中的每个特征点与第二幅图像中的所有特征点在最大距离范围内进行配对．消除完全双向图中的多余联接．那些消除掉的是两图像中差别很大的点之间的联接。3、精细概率值：))(()(1lBqAplpkikiki+=+))(()(1lBqAplpkikiki+=+其中常量A和B用来控制算法的收敛速度．Pik+1(l)：精细视差矢量概率值qik(l)：所有邻点的视差矢量概率ai∑∑′=iiADkjlilplq)()(其中是的所有邻点的集合是与视差相似的那些标记的集合通常，只进行几次迭代就能得到一个好的解．另外，去掉低概率值的匹配点可以有效地提高算法的速度．iAaiiDai使用松弛标记法对光流计算的实验结果14.214.2光流法光流法Popi图象面三维物体运动与在图像平面投影之间的关系14.2.114.2.1运动场与光流运动场与光流给图像中的每一像素点赋予一个速度向量，就形成了图像运动场(motionfield)，对应于物体三维运动．光流是指图像亮度模式的表观（或视在）运动.在图象处理领域称为图像流明暗模式运动将随着光源运动．此时光流不等于零，但运动场为零。光流在任意地方都等于零，然而，运动场却不等于零14.2.214.2.2光流约束方程光流约束方程运动时照度保持不变),,(),,(tyxItttvytuxI=+++δδδuv是光流分量亮度随x、y、t光滑变化,Taylor级数展开:),,(),,(tyxIetItyIyxIxtyxI=+∂∂+∂∂+∂∂+δδδe是二阶或二阶以上的项，0=∂∂+∂∂+∂∂tIdtdyyIdtdxxI0→tδ两边同除于14.2.214.2.2光流约束方程（续）光流约束方程（续）0=∂∂+∂∂+∂∂tIdtdyyIdtdxxIxIIx∂∂=yIIy∂∂=tIIt∂∂=dtdxu=dtdyv=0=++tyxIvIuI图像中的每一点上有两个未知数u和v，但只有一个方程，因此，只使用一个点上的信息是不能确定光流的．人们将这种不确定问题称为孔径问题运动场处处连续等约束12孔径1无法确定图像是沿着边缘方向还是垂直边缘方向运动孔径2有可能确定正确的运动，这是由于图像在孔径2中的两个垂直边缘方向上都有梯度变化．14.314.3光流计算光流计算由于孔径问题的存在,仅通过光流约束方程而不使用其它信息是无法计算图像平面中某一点处的图像流速度用光流在整个图像上光滑变化的假设来求解光流等方法可克服孔径问题。14.3.1Horn14.3.1Horn--SchunckSchunck法法使用光流在整个图像上光滑变化的假设来求解光流，即运动场既满足光流约束方程又满足全局平滑性．光流约束平滑性测度综合作用()22)(tyxIvIuIe++=xdxdyyvvys∫∫⎥⎥⎦⎤⎢⎢⎣⎡⎟⎟⎠⎞⎜⎜⎝⎛+⎟⎠⎞⎜⎝⎛+⎟⎟⎠⎞⎜⎜⎝⎛+⎟⎠⎞⎜⎝⎛=22222xuxu)(∂∂∂∂∂∂∂∂x{}dxdyseE∫∫+=)()(22xxα当上两式为零时，E取极小值.用有限差分方法将每个方程中的拉普拉斯算子换成局部邻域图像流矢量的加权和，并使用迭代方法求解这两个差分方程．点(x,y)的光流:221221yxtnynynnyxtnynxxnnIIIvIuxIIvvIIIvIuIIuu++++−=++++−=++αα∑∑+=ijjisjieE)),(),((22α离散表示)(2)(2)(2)(2vvIIvIuIvEuuIIvIuIuEytyxxtyx−+++=∂∂−+++=∂∂αα14.3.2Lucas14.3.2Lucas--KanadeKanade方法方法假设在一个小的空间邻域上运动矢量保持恒定，然后使用加权最小二乘方估计光流。在一小空间邻域光流估计误差定义为：其中w(x)表示窗口权重函数，它使邻域中心部分对约束产生的影响比外围部分更大。也可认为是从法向速度得到的估计的加权最小二乘估计；即上式等于：实现时先用标准差为1.5像素/帧的时空高斯滤波器平滑图象序列。以利于削弱时间噪声和输入中的量化效应。梯度计算使用了4点中心差，其系数模板为1/12(-180-81)。空间邻域为像素大小，窗口权重函数W2为可分离的和各向同性的；∑Ω∈++),(22))((yxtyxIvIuIWx∑Ω∈−⋅x(x)n(x)vxx222])[()(swW有效的一维权为:在整个处理中需要15帧图象。如用IIR递归滤波器和时间上的递归估计代替FIR滤波器。只需存储3帧图象(即只有2到3帧的延迟)就可产生相似的结果。)0625.025.0375.025.00625.0(14.3.3Nagel14.3.3Nagel方法方法Nagel使用二阶导数来估计光流，使用了全局平滑约束来建立光流误差测度函数，与Horn-Schunck测度函数不同，Nagel提出的一种面向平滑的约束，并不是强加在亮度梯度变化最剧烈的方向（即边缘方向）上，这样做的目的是为了处理遮挡问题。该方法的误差