基于背景拼接的PTZ摄像机主动目标跟踪

 2Vol.3No.5/May.2009基于背景拼接的PTZ摄像机主动目标跟踪周磊 于仕琪摘 要 目标跟踪是计算机视觉领域一个十分热门的研究方向，本文提出了一套基于背景拼接的PTZ摄像机主动跟踪算法。传统监控摄像机监控视野窄，运动目标容易超出监控视野范围而不能对其进行连续跟踪，本算法通过摄像机的自主调节（旋转、俯仰移动和镜头变焦缩放），并结合背景拼接算法，很好地弥补了使用传统摄像机进行跟踪的缺点。关键词 背景拼接；背景建模；特征提取；主动跟踪1 引言 PTZ在安防监控领域是Pan、Tilt和Zoom的简写，表示安放摄像机的云台旋转、俯仰移动及摄像机镜头的变焦缩放。PTZ主动目标跟踪是指分析摄像机采集的视频，检测视频中的运动目标并提取目标的位置、大小等信息，根据提取的信息通过指令控制PTZ摄像机运动，以确保被跟踪目标以清晰的画面保持在摄像机视野的中心区域。传统的监控摄像机多为固定摄像机，监控视野窄，或在某几个预先设置的位置循环监控，运动目标容易超出监控视野范围而不能对其连续跟踪。PTZ主动目标跟踪技术则弥补了这个缺点，成为完善的安全监控系统必需的功能。除了在监控领域的应用，PTZ主动跟踪也是提高机器人感知能力的重要途径。 本文介绍了一种基于背景拼接的PTZ摄像机主动跟踪算法。结构安排如下：第2节介绍了国内外研究现状，第3节描述了本算法的工作流程，第4节详细介绍算法使用的背景拼接、背景建模和更新算法，第5节介绍了特征提取和跟踪算法，第6节对本文进行了简要的总结。2 国内外研究现状分析 运动物体检测，是对目标进行跟踪的第一步。背景减除技术(Background Subtraction)是对固定摄像机拍摄的视频进行运动检测最常用的方法，并且已经提出了许多变化光照条件下的背景建模方法。对于PTZ摄像机，由于摄像机的运动造成背景的变化，对固定摄像机的背景减除技术检测运动目标不能直接应用于PTZ摄像机。背景拼接(Background Mosaic)可以解决这一问题，在过去的几年中，提出了许多方法来解决在可以得到背景拼接的条件下，对PTZ摄像机使用背景减除技术来检测运动目标。常用的做法是利用rigid 2D、仿射变换或摄像机的旋转角度的信息等来简化拼接计算中的投影变换。如在[1]中，假设连续两帧图像之间存在仿射变换，并用最小中位方差估计仿射变换的参数，再将后一帧与由前一帧的仿射变换得到的一帧进行相减，获得静止的背景。论文[2]的方法也是预先获得拼接的背景，再利用背景减除法检测运动的目标，该文中的亮点是提出了一种可以获得实时的拼接背景的算法。类似的方法还用在[3，4，5，6]等论文中。 检测到运动物体后，下一步是特征提取和跟踪。提取出具有区分能力的特征是跟踪的关键。在论文[7]中为视频会议应用环境设计了一个主动跟踪算法，所用的特征为肤色特征，用以跟踪人的头部。[8]这篇论文提出的方法略有不同，首先用固定摄像机用基于运动的分割算法检测目标，再根据目标的颜色和形状特征用PTZ摄像机对其进行跟踪。颜色是主要的跟踪特征，形状特征起辅助跟踪的作用。采用颜色特征的方法还有[9，10]等。颜色特征虽然是非常有用的特征，但是在物体颜色和背景颜色比较相似的时候，仅仅利用颜色跟踪往往比较困难。一些研究者则使用了多种特征融合的方法来选择特征。如在[11]中提出了一种在跟踪的过程中，对RGB三个通道分别处理，在线评估多种特征并选出最具区分能力的特征进行跟踪的方法。在论文[12]中对[11]的方法做了一定的改进，也是在线评估多种特征、挑选最易跟踪特征；所用的目标跟踪方法是MeanShift。 除了前面提到的工作，一些最新的论文中也提出了一些对仿射变换、旋转变换、缩放变换等比较稳定的算法，如在论文[13]中提出了一种在噪声强、图像变化比较多的情况下能够跟踪非刚性物体的算法。该方法主要是在位图上估计最大后验概率，作基于背景拼接的PTZ摄像机主动目标跟踪3者宣称该方法具有比较好的跟踪效果，但是本方法计算代价比较高，需要几秒种才能处理一帧图像，难以满足实时跟踪要求。3 本算法的流程 在本算法中，首先对背景图片进行拼接和建模，当检测到物体入侵时，摄像机提取入侵物体的特征，自主调节，使目标定格在图片中央位置。在后续帧中，首先利用背景图象进行前景检测，然后在检测到的前景中，找出与前一帧提取的特征最匹配的区域，从而实现跟踪。本文的主动跟踪算法的流程如图1所示。(1)通过PTZ摄像机采集视频，(2)对获得的背景进行拼接，(3)获得背景图象，(4)在当前帧进行前景检测，如果没有，选择随机位置继续前景检测，(5)如果存在运动物体，则提取运动物体的特征，(6)对运动物体进行跟踪，判断出运动物体的位置、大小、运动方向和运动速度，(7)跟新背景图象，(8)根据物体的运动方向和速度等，对摄像机下一步的运动进行计算，并将控制PTZ运动的命令发送到摄像机。在运动跟踪过程中，摄像机的运动信息可反馈到跟踪算法中，从而提高算法的跟踪准确性。 图1 主动跟踪算法流程图4 背景拼接、背景建模和更新 实现PTZ摄像机的背景拼接，首先需要提取尺度不变性特征。当前常用的尺度不变性特征有SIFT算子和SURF算子。本算法采用OpenCV中SURF算子的特征提取和特征匹配方法。根据前人的认识，这是一个比较好的尺度不变性特征。即使如此，还会存在一些误匹配。下面讲述怎么利用这些带有少量误匹配的匹配点对来计算和优化图像之间的透视变换矩阵H。4.1 RANSAC算法去除误匹配点RANSAC是“Random Sample Consensus(随机抽样一致性)”的简称。它可以从一些包含噪声的数据中估计数学模型的参数。该算法由OpenCV中cvFindHomography函数执行，运行过程如下： Step1：选择重复采样次数N(由自适应算法确定)，进行N次重复采样， Step2：对于每一次采样 随机抽取4组对应点组成一个随机样本并计算透视变换矩阵H(透视变换矩阵H有8个未知数，所以只需要4组点对就可以算出)； 计算与透视变换矩阵H一致的内点数； 计算内点的标准方差； Step3：选择具有内点数最多的透视变换矩阵H，在内点数目相等的时候，选择内点标准方差最小的透视变换矩阵H。 在计算出透视变换矩阵H之后，可以将一幅图像的特征点投影到另一幅图像上去，去除位置差异大的特征点，认为它们是误匹配点。4.2 优化透视变换矩阵H和/或SURF点的位置 随机抽样一致性算法之后，得到的H矩阵和SURF点的位置已经比较准确了，为了计算更精确，下面引入优化算法，调整H矩阵和/或SURF点的位置，以达到所有图像投影误差最小。这个优化将采用以LevenBerg-Marquardt算法为基础的Bundle Adjustment算法。 其中Levenberg-Marquardt法简称L-M算法，它致力于找到平方和形式的非线性多变量实函数的最小值，是一种将最陡下降法和牛顿法相结合的算法。它的本质是二阶梯度法，故具有很快的收敛速度，能满足实时性要求。 下面简要介绍Bundle Adjustment算法： 在当前的具体情况之下，以第1帧作为参考面。假设已经优化了前面m帧，在优化m+1帧的时候，目标是使它投影到参考面上的时候，下面的投影误差(平方和形式)最小： (1) 式中，第m+1帧一共有n个SURF点，bj为第j个SURF点的坐标，ai为第m+1帧对第i帧的透视 Vol.3No.5/May.2009变换矩阵。当第j个SURF点在第 帧不可见时，置为0。第j个SURF点在第i帧可见时，Xi,j是第j个SURF点在第i帧的对应点的真实坐标，为投影到第i帧的预测坐标，为预测坐标和真实坐标的欧式距离。 为了处理(1)式，令预测坐标 (2) 则(1)式改写为 (3) 把ai和bj合并成一个未知数向量p。由Levenberg-Marquardt算法，要求(3)式的最小值，只需要求解下面的方程： (4) J为Xi,j对p的Jacobian矩阵，为本次迭代前的误差向量。为计算得到的的增量，在下一次迭代中，以作为新的初始估计，直到p收敛。 以m=3,n=4为例，各个矩阵形式如右： 至此，第m+1帧对其他帧的透视变换矩阵H全部得到，如果存在，则将第m+1帧直接投影到参考面上，如果不存在，则先影射到其它帧，再影射到参考面。4.3 背景建模和跟新 在本算法中，采用了单高斯模型。对于每一个像素，都有一个均值和一个标准差，分别表示此像素最大可能值和变化大小。主动跟踪里的背景建模与固定背景建模主要的不同点是背景更新策略。每次采集到一帧图像，首先投影到背景图上，如果背景图区域被当前图像覆盖，则更新均值和标准差；如果没有覆盖，则不更新。同时，对每一个像素，都有一个可信系数w，代表当前像素的可信度(新旧程度)，如果该像素很久没有更新，则可信系数降低；如果该像素刚刚被更新，则可信系数取最大值w=1。可信系数w将直接影响均值和标准差 的更新速度。5 特征提取和跟踪算法5.1 特征提取 特征提取是跟踪的关键部分，如果提取出的物体特征与背景或其他物体有较强的区分能力，则跟踪会变得顺利。如前面的国内外发展状况所述，运动跟踪中常用的特征有颜色特征(如颜色直方图)、纹理特征(如Gabor特征)和关键点特征(如SIFT和SURF特征)等。 对于纹理特征，当物体在图像中比较小时，或者物体存在比较明显形变或者从不同视角观察时，往往无法有效跟踪；对于关键点特征，仅适合物体在图像中比较大，而且关键点比较多的情况下有用，当物体在图像中比较小时无法使用。在本算法中，跟踪对象为存在明显形变的运动人体，在图像中的面积比较小，所以本算法采用颜色特征作为主要特征。 先选取HSV图像中的任意点，在其他前景点中找出与之相似的点，计算这些点的各颜色分量的均值，再计算没有分类的前景点与该均值的距离，距离小于某个域值的前景点则也归为该类，计算新类的各颜色分量的均值，重复，直到前后两次颜色分量的均值相差很小。至此，提取出一类前景点。类似地，将前景点分成3-5类。类别分好之后，分别在X轴和Y轴方向上计算各类别的直方图。保存好各类别的颜色分量的均值和颜色直方图。之所以采用分类-直方图方法，是因为一般的运动物体都由几个典基于背景拼接的PTZ摄像机主动目标跟踪5型的颜色组成。如行人根据颜色可分为三部分：头部(黑色或肤色)、上身(上衣颜色)和下身(裤子颜色)；如汽车一般由连通的车壳颜色和不连通的车玻璃颜色。用颜色直方图不仅可以描述物体颜色，还可以描述物体颜色的空间分布，具有更好的描述性。 当然，如其它的特征一样，颜色特征也并非适用于所有情况，仅仅是相对有效特征，比如当物体颜色与背景颜色相似时，颜色特征往往无法有效地区分开物体和背景。5.2 运动物体跟踪 由于在前面部分已经构建了背景图像，因此新获取到的图像可先投影到背景图像上，然后与背景图像进行相减，便可获得运动区域，这些区域是跟踪的候选区域。由于拼接误差以及更新频率等原因，利用背景减除法计算出的前景图像会存在许多误检测区域。在所有的候选区域中，本算法将采用采样重采样方法和颜色直方图匹配作为匹配因素。 本算法首先由物体的运动方向和摄像机的运动反馈估计出物体可能出现的地方。在该区域重点采样，在其他区域少采样，取得一批候选区域的图片，计算该区域的颜色直方图与特征提取时获得的颜色直方图的相似性，选取最相似的区域。再在这个区域附近进行重采样，进一步计算颜色直方图的相似性，选取最相似的，至此，跟踪任务基本完成。 下面讨论一个小问题。如果当前图像与背景图像相比存在缩放变化，首先将图像调整到背景图像的缩放级别，然后投影到球面上。摄像机的缩放级别与物体在图像里的大小的关系可以通过实验的方法获取，如佳能VC-C50i PTZ摄像机的缩放级别跟与物体在图像里的大小关系如2所示，其中横坐标表示缩放级别(从第1级到第128级)，纵坐标表示物体在图像中的大小(单位为像素)。摄像机的当前缩放级别可以通过查询摄像机参数获得，假如当前缩放级别是n，而背景图像的缩放