光流法简述

机器视觉作业论文作者：孔令上论文题目：光流法简述2014年12月20日目录引言..................................................................................................................................................3光流法的理论背景...........................................................................................................................3光流法的提出、发展及现状...................................................................................................3光流的原理...............................................................................................................................4光流场与运动场...............................................................................................................4基本光流方程...................................................................................................................6光流的计算方法...............................................................................................................7光流法的应用...................................................................................................................................9运动目标检测与跟踪...............................................................................................................9应用背景...........................................................................................................................9现有方法简述.................................................................................................................10光流法的优势和劣势.....................................................................................................11基于视觉的导航.....................................................................................................................11现代导航方法及其不足.................................................................................................11昆虫视觉启发的导航方法.............................................................................................12光流法简述引言基于机器视觉的运动目标方法比较主流的有帧差法、背景差法、光流法等。相比其他几种而言，光流法来源于仿生学思想，从更加本质的方面揭示了基于视觉的运动目标检测的原理；比其他方法有更加牢固的数学基础；也比其他方法有更高的检测精确性等诸多优势。只要在有限的牺牲精确度的情况下解决了光流法的计算复杂性问题，该方法必然能成为运动目标检测问题的唯一首选方案。研究生物行为，将生物科学与工程学相结合是未来科学发展的趋势，也是目前世界上公认的研究方法。从对昆虫的视觉机理实验中，科学家们已经发现了大量的昆虫在导航的时候使用的真是光流法。试想一下，昆虫仅仅具有简单的大脑和及其微弱的计算能力，但却表现出令人惊叹的复杂导航行为，这个事实给了我信息，我个人为：通过改进算法和硬件，更深入的学习大自然，必然能解决光流法的实时性差这一难题，将其推向实用。基于此，将现阶段我所了解的光流法的原理与应用方面总结整理，遂成此文。由于本人从事智能车方面的项目，设计移动目标检测和导航问题，故主要只写了这两方面的应用。光流法的理论背景光流法的提出、发展及现状早在二十世纪五十年代就已经有人着手于光流法的研究，心理学家Gibson在他的著作“ThePerceptionoftheVisualWorld”中提出了环境光（ambientoptic）、环境光阵（ambientopticarray）、光流（opticflow）、光流阵（opticflowarray）等基本概念。物理光学概念是以能量为基础的，但Gibson认为，对人和动物来说能量没有很直接的意义，比如说可见光外波长的光，具有物理学的意义，但对人的视知觉没有任何贡献。因此，他引入了生态光学理论（ecologicalopticstheory），以强调知觉对动物在自然环境下生存和发展的意义。人在环境中行动，光线来自各个方向，外在空间的每一点的光线分布各不相同。这种光线分布称作“环境光”。环境光对人具有重要生存意义，它的特殊分布提供了空间视觉的信息。研究环境光对人的视觉的作用的科学就是生态光学。由于生态光学理论以物理光学为基础，对于视知觉的解释又极为简明，特别受到计算机视觉研究者的重视。在Gibson他提出一系列的光流概念之后，便有学者提出利用二维平面的光流场来恢复三维空间运动参数和结构参数的假设。随后，一系列关于昆虫视觉机理方面实验结果表明，大多数昆虫都可以通过光流测量自身运动，进而通过积分获得自身飞行的距离。1976年，Poggio和Reichartdt在研究昆虫视觉时提出了关于光流的粗略计算形式；关于光流的有效计算方法的提出，是在1981年Horn和Schunck、Lucas和Kanade将二维速度场与灰度相联系，引入了光流约束方程，对光流计算做了奠基性的工作。由于光流在图像处理、目标跟踪等领域的重要性，研究人员又陆续推出了一些新的方法，这些方法大致分为五类：基于匹配的方法、基于梯度的方法、基于频域的方法、基于相位的方法和神经动力学方法。基于匹配的方法包括基于区域和基于特征两种方法，实质上是在图像序列中的各图像之间，搜索出对应的图像区域最佳拟合的位移，所得到的位移即为目标运动矢量。该类方法在视频编码中得到了广泛的应用。基于特征的方法对于目标的速度和亮度变化具有较好的鲁棒性。基于匹配的两种方法存在的主要问题是，得到的光流通常比较稀疏，要实现精确匹配比较难。基于梯度的方法也称为微分法，该类方法是建立在图像亮度为常数的假设基础之上的，利用序列图像亮度的时空梯度函数来计算二维速度场。由于计算简单而且效果比较好，该方法成为使用最广泛的一种光流估计方法，此类方法的最具代表性的是Horn-Schunck光流法，它计算出的光流场是在光流基本方程的基础上引入了另外一个约束条件，即全局光流平滑约束假设。后来人们根据这种思想又提出了大量的改进算法。基于梯度的光流法在使用中存在一些问题：第一，为了在计算光流方程时方便，一般会通过一阶泰勒级数逼近来线性化，因此当有大的运动矢量存在时会产生较大的误差，从而导致估计精度降低；第二，在进行预处理时，部分帧中噪声的存在、图像采集过程中的频谱混叠现象都将严重影响该类方法的计算精度。第三，在有些非连续区域(比如边缘等)，图像亮度在运动方向上的平滑性约束条件会被破坏，从而会导致计算错误。基于频率的方法又称为基于能量的方法，在使用该类方法的过程中，要获得均匀流场的准确的速度估计，就必须对输入的图像进行时空滤波处理，即对时间和空间的整合，但是这样会降低光流的时间和空间分辨率。基于频率的方法往往会涉及大量的计算，另外，要进行可靠性评价也比较困难。基于相位的方法是由Fleet和Jepson提出的，Fleet和Jepson最先提出将相位信息用于光流计算的思想。当我们计算光流的时候，相比亮度信息，图像的相位信息更加可靠，所以利用相位信息获得的光流场具有更好的鲁棒性。基于相位的光流算法的优点是：对图像序列的适用范围较宽，而且速度估计比较精确，但也存在着一些问题：第一，基于相位的模型有一定的合理性，但是有较高的时间复杂性；第二，基于相位的方法通过两帧图像就可以计算出光流，但如果要提高估计精度，就需要花费一定的时间；第三，基于相位的光流计算法对图像序列的时间混叠是比较敏感的。神经动力学方法是利用神经网络建立的视觉运动感知的神经动力学模型，它是对生物视觉系统功能与结构比较直接的模拟。光流的原理我们观察三维世界中目标的运动时，运动目标的轮廓会在我们的视网膜上形成一系列连续变化的图像，这些连续变化的信息不断的“流过”人眼视网膜(即图像平面)，就像是一种光“流”过一样，称为光流(opticalflow)。在视频跟踪领域，光流是指图像中灰度模式的表面运动，是物体的三维速度矢量在成像平面上的投影，它表示了物体在图像中位置的瞬时变化。光流场与运动场物体在空间运动时会产生三维运动场，运动前后空间对应点在图像上的投影就会形成一个二维运动场。光流场就是运动场在二维图像上的投影，光流场携带了关于物体结构和运动的信息。研究光流场的目的主要是希望从序列图像中近似计算出不能直接得到的运动场。图1.2.1在物体的运动过程中，在某一特定时刻，三维场景中的某一点根据投影方程对应成二维图像上一点，根据透视投影原理，三维场景中一点与图像上的对应点的连线经过光学中心，如图1.2.1所示。图中f为摄像头镜头焦距，z为镜头中心到目标点的距离。假设𝑝0相对于摄像机的运动速度为𝑣0，那么与之对应的点𝑝𝑖也会产生一个运动速度𝑣𝑖，则𝑣0和𝑣𝑖分别如下式所示：𝑟0和𝑟𝑖之间的关系为：上述公式反映了三维空间物体运动和图像平面投影之间的对应关系，同样的，物体在空间运动的三维速度场也会在二维图像平面形成投影，这个投影就是图像的运动场。简单来说，图像运动场就是对图像中所有像素点各赋予一个速度矢量。另外，物体的某个点的运动除了会导致图像中对应点的运动外，同时也会带来对应点的亮度模式的运动。光流就是图像亮度模式的表观运动，是空间运动物体被观测面上像素点的运动产生的瞬时速度场。图1.2.2光流场与运动场不一致光流场是对运动场的一个近似，即光流场并不一定能反映物体的实际运动情况。在理想情况下光流场与运动场是相对应的，但也存在不对应的时候，例如一个质地均匀的球体在某一光源的照射下，若球体不动而光源运动，如图1.2.2(a)所示，这样球体与光源会有相对运动，其亮度模式会发生变化，光流并不等于零，但因为球体并没动，所以运动场为零。同样地，运动场的改变也未必能引起