目标跟踪算法的分类

运动目标跟踪就是在一段序列图像中的每幅图像中实时地找到所感兴趣的运动目标(包括位置、速度及加速度等运动参数)。在运动目标跟踪问题的研究上，总体来说有两种思路：a)不依赖于先验知识，直接从图像序列中检测到运动目标，并进行目标识别，最终跟踪感兴趣的运动目标；b)依赖于目标的先验知识，首先为运动目标建模，然后在图像序列中实时找到相匹配的运动目标。一、运动目标检测对于不依赖先验知识的目标跟踪来讲，运动检测是实现跟踪的第一步。运动检测即为从序列图像中将变化区域从背景图像中提取出来。运动目标检测的算法依照目标与摄像机之间的关系可以分为静态背景下运动检测和动态背景下运动检测。静态背景下运动检测就是摄像机在整个监视过程中不发生移动，只有被监视目标在摄像机视场内运动，这个过程只有目标相对于摄像机的运动；动态背景下运动检测就是摄像机在整个监视过程中发生了移动(如平动、旋转或多自由度运动)，被监视目标在摄像机视场内也发生了运动，这个过程就产生了目标与摄像机之间复杂的相对运动。1、静态背景背景差分法背景差分法是利用当前图像与背景图像的差分来检测运动区域的一种技术。它一般能够提供最完全的特征数据，但对于动态场景的变化，如天气、光照、背景扰动及背景物移入移出等特别敏感，运动目标的阴影也会影响检测结果的准确性及跟踪的精确性。其基本思想就是首先获得一个背景模型，然后将当前帧与背景模型相减，如果像素差值大于某一阈值，则判断此像素属于运动目标，否则属于背景图像。背景模型的建立与更新、阴影的去除等对跟踪结果的好坏至关重要。帧间差分法相邻帧间差分法是通过相邻两帧图像的差值计算，获得运动物体位置和形状等信息的运动目标检测方法。其对环境的适应性较强，特别是对于光照的变化适应性强，但由于运动目标上像素的纹理、灰度等信息比较相近，不能检测出完整的目标，只能得到运动目标的部分信息且对运动缓慢的物体不敏感，存在一定的局限性。贺贵明等人在相邻帧间差分法的基础上提出了对称差分法，通过对图像序列中每连续三帧图像进行对称差分，检测出目标的运动范围，同时利用上一帧分割出来的模板对检测出来的目标运动范围进行修正，能较好地检测出中间帧运动目标的形状轮廓。光流法在空间中，运动可以用运动场描述，而在一个图像平面上，物体的运动往往是通过图像序列中图像灰度分布的不同来体现，从而使空间中的运动场转移到图像上就表示为光流场。光流场反映了图像上每一点灰度的变化趋势，可看成是带有灰度的像素点在图像平面上运动而产生的瞬时速度场，也是一种对真实运动场的近似估计。在比较理想的情况下，它能够检测独立运动的对象，不需要预先知道场景的任何信息，可以很精确地计算出运动物体的速度，并且可用于动态场景的情况。但是大多数光流方法的计算相当复杂，对硬件要求比较高，不适于实时处理，而且对噪声比较敏感，抗噪性差。2、动态背景由于存在着目标与摄像机之间复杂的相对运动，动态背景下运动目标检测要比静态背景下的运动目标检测复杂得多。通常情况下，摄像机的运动形式可以分为两种：a)摄像机的支架固定，但摄像机可以偏转、俯仰以及缩放;b)将摄像机装在某个移动的载体上。由于以上两种情况下的背景及前景图像都在做全局运动，要准确检测运动目标的首要任务是进行图像的全局运动估计与补偿。考虑到图像帧上各点的全局运动矢量虽不尽相同(摄像机做平移运动除外)，但它们均是在同一摄像机模型下的运动，因而应遵循相同的运动模型，可以用同一模型参数来表示。全局运动的估计问题就被归结为全局运动模型参数的估计问题，通常使用块匹配法或光流估计法来进行运动参数的估计。基于块的运动估算和补偿可算是最通用的算法。可以将图像分割成不同的图像块，假定同一图像小块上的运动矢量是相同的，通过像素域搜索得到最佳的运动矢量估算。块匹配法主要有如下三个关键技术：a)匹配法则，如最大相关、最小误差等。b)搜索方法，如三步搜索法、交叉搜索法等。c)块大小的确定，如分级、自适应等。光流估计法是对帧图像建立了光流场模型后，用光流场方程求解图像像素点运动速度的方法。二、运动目标跟踪运动目标的跟踪，即通过目标的有效表达，在图像序列中寻找与目标模板最相似候选目标区位置的过程。简单说，就是在序列图像中为目标定位。运动目标的有效表达除了对运动目标建模外，目标跟踪中常用到的目标特性表达主要包括视觉特征(图像边缘、轮廓、形状、纹理、区域)、统计特征(直方图、各种矩特征)、变换系数特征(傅里叶描绘子、自回归模型)、代数特征(图像矩阵的奇异值分解)等。除了使用单一特征外，也可通过融合多个特征来提高跟踪的可靠性。相似性度量算法对运动目标进行特性提取之后，需要采用一定的相似性度量算法与帧图像进行匹配，从而实现目标跟踪。图像处理与分析理论中，常见的相似性度量方法有欧氏距离、街区距离、棋盘距离、加权距离、巴特查理亚系数、Hausdorff距离等，其中应用最多和最简单的是欧氏距离。搜索算法目标跟踪过程中，直接对场景中的所有内容进行匹配计算，寻找最佳匹配位置，需要处理大量的冗余信息，这样运算量比较大，而且没有必要。采用一定的搜索算法对未来时刻目标的位置状态进行估计假设，缩小目标搜索范围便具有了非常重要的意义。其中一类比较常用的方法是预测运动体下一帧可能出现的位置，在其相关区域内寻找最优点。常见的预测算法有Kalman滤波、扩展的Kalman滤波及粒子滤波方法等。Kalman滤波器是一个对动态系统的状态序列进行线性最小方差估计的算法。它通过状态方程和观测方程来描述一个动态系统，基于系统以前的状态序列对下一个状态作最优估计，预测时具有无偏、稳定和最优的特点，且具有计算量小、可实时计算的特点，可以准确地预测目标的位置和速度，但其只适合于线性且呈高斯分布的系统。相对于卡尔曼滤波算法，粒子滤波器特别适用于非线性、非高斯系统。粒子滤波算法是一种基于蒙特卡洛和贝叶斯估计理论的最优算法，它以递归的方式对测量数据进行序贯处理，因而无须对以前的测量数据进行存储和再处理，节省了大量的存储空间。在跟踪多形式的目标以及在非线性运动和测量模型中，粒子滤波器具有极好的鲁棒性。另一类减小搜索范围的算法是优化搜索方向。均值漂移算法(Meanshift算法)、连续自适应均值漂移算法(Camshift算法)和置信区域算法都是利用无参估计的方法优化目标模板和候选目标距离的迭代收敛过程，以达到缩小搜索范围的目的。Meanshift算法是利用梯度优化方法实现快速目标定位，能够对非刚性目标实时跟踪，适合于非线性运动目标的跟踪，对目标的变形、旋转等运动有较好的适用性。但是Meanshift算法在目标跟踪过程中没有利用目标在空间中的运动方向和运动速度信息，当周围环境存在干扰时(如光线、遮挡)，容易丢失目标。Camshift算法是在Meanshift算法的基础上，进行了一定的扩展，结合目标色彩信息形成的一种改进的均值漂移算法。由于目标图像的直方图记录的是颜色出现的概率，这种方法不受目标形状变化的影响，可以有效地解决目标变形和部分遮挡的问题，且运算效率较高，但该算法在开始前需要由人工指定跟踪目标。目标跟踪分类依据运动目标的表达和相似性度量，运动目标跟踪算法可以分为四类：基于主动轮廓的跟踪、基于特征的跟踪、基于区域的跟踪和基于模型的跟踪。跟踪算法的精度和鲁棒性很大程度上取决于对运动目标的表达和相似性度量的定义，跟踪算法的实时性取决于匹配搜索策略和滤波预测算法。1、基于主动轮廓的跟踪Kass等人提出的主动轮廓模型，即Snake模型，是在图像域内定义的可变形曲线，通过对其能量函数的最小化，动态轮廓逐步调整自身形状与目标轮廓相一致，该可变形曲线又称为Snake曲线。Snake技术可以处理任意形状物体的任意形变，首先将分割得到的物体边界作为跟踪的初始模板然后确定表征物体真实边界的目标函数，并通过降低目标函数值，使初始轮廓逐渐向物体的真实边界移动。基于主动轮廓跟踪的优点是不但考虑来自图像的灰度信息，而且考虑整体轮廓的几何信息，增强了跟踪的可靠性。由于跟踪过程实际上是解的寻优过程，带来的计算量比较大，而且由于Snake模型的盲目性，对于快速运动的物体或者形变较大的情况，跟踪效果不够理想。2、基于特征的跟踪基于特征匹配的跟踪方法不考虑运动目标的整体特征，只通过目标图像的一些显著特征来进行跟踪。假定运动目标可以由惟一的特征集合表达，搜索到该相应的特征集合就认为跟踪上了运动目标。除了用单一的特征来实现跟踪外，还可以采用多个特征信息融合在一起作为跟踪特征。基于特征的跟踪主要包括特征提取和特征匹配两个方面。(1)特征提取特征提取是指从景物的原始图像中提取图像的描绘特征，理想的图像特征应具备的特点是：a)特征应具有直观意义，符合人们的视觉特性;b)特征应具备较好的分类能力，能够区分不同的图像内容;c)特征计算应该相对简单，以便于快速识别;d)特征应具备图像平移、旋转、尺度变化等不变性。目标跟踪中常用的运动目标的特征主要包括颜色、纹理、边缘、块特征、光流特征、周长、面积、质心、角点等。提取对尺度伸缩、形变和亮度变化不敏感的有效特征至今仍是图像处理研究领域中一个比较活跃的方面。(2)特征匹配特征提取的目的是进行帧间目标特征的匹配，并以最优匹配来跟踪目标。常见的基于特征匹配的跟踪算法有基于二值化目标图像匹配的跟踪、基于边缘特征匹配或角点特征匹配的跟踪、基于目标灰度特征匹配的跟踪、基于目标颜色特征匹配的跟踪等。基于特征的跟踪算法的优点在于对运动目标的尺度、形变和亮度等变化不敏感，即使目标的某一部分被遮挡，只要还有一部分特征可以被看到，就可以完成跟踪任务；另外，这种方法与Kalman滤波器联合使用，也具有很好的跟踪效果。但是其对于图像模糊、噪声等比较敏感，图像特征的提取效果也依赖于各种提取算子及其参数的设置，此外，连续帧间的特征对应关系也较难确定，尤其是当每一帧图像的特征数目不一致、存在漏检、特征增加或减少等情况。3、基于区域的跟踪基于区域的跟踪算法基本思想是：a)得到包含目标的模板，该模板可通过图像分割获得或预先人为确定，模板通常为略大于目标的矩形，也可为不规则形状;b)在序列图像中，运用相关算法跟踪目标。这种算法的优点在于当目标未被遮挡时，跟踪精度非常高、跟踪非常稳定。但其缺点首先是费时，当搜索区域较大时情况尤其严重;其次，算法要求目标变形不大，且不能有太大遮挡，否则相关精度下降会造成目标的丢失。近年来，对基于区域的跟踪方法关注较多的是如何处理模板变化时的情况，这种变化是由运动目标姿态变化引起的，如果能正确预测目标的姿态变化，则可实现稳定跟踪。4、基于模型的跟踪基于模型的跟踪是通过一定的先验知识对所跟踪目标建立模型，然后通过匹配跟踪目标进行模型的实时更新。对于刚体目标来说，其运动状态变换主要是平移、旋转等，可以利用该方法实现目标跟踪。但是实际应用中跟踪的不仅仅是刚体，还有一大部分是非刚体，目标确切的几何模型不容易得到。这种方法不易受观测视角的影响，具有较强的鲁棒性，模型匹配跟踪精度高，适合于机动目标的各种运动变化，抗干扰能力强，但由于计算分析复杂、运算速度慢，模型的更新较为复杂，实时性较差。准确建立运动模型是模型匹配能否成功的关键。2.1目标跟踪的数学模型大多数目标跟踪问题都是基于目标模版的。也就是说，依赖于两个描述：一是目标行为，通常用动态运动模型表示；另一个是对目标的观测，称为观测模型。目标跟踪，通俗地说，就是根据某些参数来估计目标运动轨迹的过程。一般地，我们将目标看作是空间的一个运动点，这类似于物理中力学研究中通常将物体对象描述为一个质点来分析。几乎所有的运动目标跟踪算法都是基于目标模版的。常用的状态空间模型为：Nk)()]([)()]([)](),([)(xtttttutxftvxhzwkkkkk（2.1.1）离散时间模型：Nk)()(),(1vxhzwuxfxkkkkkkkkkk（2.1.2）而且通常我们处理时线性系统，此时离散时间模型为：Nk1vxHzwGuExfxkkkkkkkkkkk（2.1.3）运动目标跟踪中，最大的问题在于目标的运动模式不确定，