搜索
无重叠视域多摄像头目标关联综述摘要：随着视频监控技术的快速发展，多监控摄像机信息融合的研究逐渐被重视起来，作为核心技术之一的无重叠视域多目标关联也成为了研究的焦点。这个研究焦点是计算机视觉研究领域的一个新兴的、多学科交叉的研究方向。文章对国际上关于此方向从开始到现在的重要研究成果，做出了比较详细的论述，把对该问题的研究归纳为三个主要的组成部分，并依次介绍了这三部分的研究进展，最后简要分析了这个方面研究的难点和未来的发展趋势。关键字：视频监控、无重叠视域多摄像头、目标关联Abstract:Withtherapiddevelopmentofvisualsurveillancetechnology,theresearchaboutmulti-camerainformationfusionisgraduallypaidmoreattentionto.Thus,asoneofthecoretechniques,objectstrackingacrossnon-overlappingmulti-camerabecomethefocus.Thisfocusisarisingdirectionofcomputervision,whichcrossesseveralsubjects.Thispaperdiscussestheimportantachievementsofthistopicallovertheworldfrombeginningtopresentindetail.Allofthemareclusteredintothreepartsandintroducedorderly.Finally,somedifficultiesandfuturedirectionsareanalyzedconcisely.Keywords:visualsurveillance,non-overlappingmulti-camera,objectsmatching1引言在单摄像机智能监控算法逐渐成熟的同时，近年来，多摄像机之间的信息关联和信息融合的研究逐渐被重视。由于被监控区域的广阔和摄像机视域有限之间的矛盾，以及在计算量和经济等方面的考虑，不可能用摄像机全部覆盖所有的被监控区域。因此在无重叠视域多摄像机监控环境下的目标跟踪就成为了广域视频监控研究的重要内容之一。在无重叠视域多摄像机视频监控系统中，目标在时间和空间上都是分离的，如何将不同摄像机中相同目标进行有效地关联是多摄像机目标跟踪的关键问题。本文主要针对无重叠视域多目标关联技术的研究现状进行了系统的介绍,包括问题描述、一般框架、关键问题、主要方法介绍，并分析了各方法的优缺点。2关键问题概述无重叠视域多目标关联的一般结构图如图1所示：目前，多目标跟踪算法的主要难点是数据关联问题。背景的复杂性，目标比例变化、目标颜色与背景颜色的相似程度、背景的稳定程度，多目标的交互及各种特殊情况的发生都会给多目标跟踪带来困难。当前多目标跟踪中存在的难题主要包括以下几个方面：遮挡问题：遮挡是多目标跟踪中的常见情况，目标可能被背景中静止的物体遮挡，也可能被另外的目标遮挡，或者自遮挡，并且遮挡的程度也不同。目标被遮挡的过程一般可分为两个阶段：一是目标进入遮挡过程，这期间目标信息丢失越来越严重，二是目标出离遮挡过摄像机1摄像机2摄像机3检测跟踪模块检测跟踪模块检测跟踪模块关联模块程，也即目标渐渐离开遮挡，这期间目标信息逐渐得到恢复。遮挡表现为目标信息的逐渐丢失，而跟踪算法的关键就是搜索到足够多的目标信息，判定目标所在，所以遮挡给目标跟踪的可靠性带来很大困难，可能导致跟踪的不稳定甚至丢失目标。如何有效的处理遮挡，特别是严重的遮挡，一直是多目标跟踪中的一个难点，目前多数系统都不能处理较严重的遮挡问题，也不能提供标准来判断何时停止及何时重新开始跟踪，且在目标丢失情况下没有相应的重新获取目标的引导方法。目标数目的随机性：数目可变也是多目标跟踪中的常见问题。目标总数的变化来自于新目标的随机出现、旧目标的消失以及由于旧目标的分裂与合并(即遮挡)。目标总数的变化有两种情况：一是总数的增加，包括新目标的出现和旧目标的分裂；二是总数的减少，包括旧目标的消失和目标合并。如何准确得到当前帧的目标个数，是多目标跟踪中的又一个难点。背景的复杂性：目标所处场景的复杂程度、稳定程度影响着目标跟踪的效果，背景中的干扰因素主要包括：光线亮度的变化，使背景颜色也发生变化；背景中物体的变动，当背景中增加、移去或者移动某些景物并持续一段时间时，背景发生变化，应及时更新背景；背景中存在与目标特征类似的物体时，将增加目标跟踪的难度，可能使跟踪收敛到干扰所在位置；阴影问题，阴影属于非运动目标区域，但是与背景颜色上存在差别，给运动目标检测带来困难。目标外观变化和不同目标外观的区分：目标外观特征包括目标形状和纹理等信息，对于非刚性目标，由于目标比例和形状的变化以及目标运动的不确定性(机动目标)，导致目标信息的丢失，很容易发生跟踪失败。在监控视频中，目标外观往往非常相似，如何选取合适的特征以较好的区分不同目标外观来实现准确的数据关联。实时性要求：视频图像含有大量的数据，要保证目标跟踪的实时性要求，必须选择计算量小的算法，但是目标跟踪另一个重要性能是跟踪的准确性，而准确性的保证往往是在复杂运算和处理的基础上的，这就造成了两者的矛盾。一个好的运动目标跟踪系统必须要兼顾两者，要对两个性能指标加以平衡。3多目标关联方法概述正是由于上述问题的存在，研发具有鲁棒性、实用性的多目标关联算法一直是无重叠视域目标跟踪的难点。随着其它学科(如生物学、计算机图形学、概率论与统计学、随机过程等)的发展，多目标关联的新思路、新方法层出不穷。以下对近年来国内外解决多目标核心问题的主流方法进行总结与分析，并比较各方法的优缺点。3.1单摄像头运动目标提取运动目标检测是目标关联的前提，只有在目标被检测出之后，才能对被检测出的目标进行关联。运动目标检测的主要任务是在图像中检测出各个独立的运动目标，便于后续的特征提取和关联等过程。运动目标检测技术已经有大量的研究，形成了三种传统的运动目标检测方法：帧间差分法[1,2]、背景差分法[3-9]和光流法[10]。其中光流法计算大都相当复杂，且抗噪性能差，难以实时应用，帧间差分法和背景差分法是目前最广泛的运动目标检测方法[2]。运动目标检测通常采用以下几种方法[5-6]：（1）帧间差分法：基本思想是将视频中相邻两帧或多帧图像做差分，然后利用阈值进行分割，将超过阈值的当做前景，其他的当做背景。优点是实时性好，算法复杂性比较小，容易实现。缺点是目标内部一般会有不连续的空洞。目前对于帧间差分法一般用来做前期检测，（2）背景差分法：背景差分法是视频监控中最为常见的运动目标检测方法，它的基本思想是将当前帧图像与参考背景图像做差分运算，然后设定一定的阈值来检测运动目标。背景差分法的关键是背景图像的选取和背景模型的建立。最简单方法是直接从视频中抽取一帧图像或者对一段时间内的视频序列中每个像素做均值滤波或中值滤波，然后将得到的图像作为参考背景图像。目前研究人员大多数都在研究如何开发不同的背景模型，期望建立更加合理的背景模型并对其及时进行更新，希望借此能够抵消背景的干扰和变化。从上世纪末至今，出现了一大批背景差分法的方法，比如混合高斯模型背景差分法[7]、无参数估计背景差分法[8]、核密度估计背景差分法[9]、码本背景差分模型[10]等算法。但是，在多摄像机监控系统中，由于图像背景存在变化，不能直接采用背景差分法，本文在第二章中针对多摄像机环境下背景扰动的问题进行了实验，实验结果表明利用改进的扭曲背景差分模型，可以有效去除背景扰动的影响，一定程度上提高了检测的准确率。(3)光流法：基于光流法的运动目标检测是利用了运动目标随时间变化的光流特性，为视频序列中每一个像素点赋予一个速度矢量，从而对应产生一个运动场，一般情况下认为光流场对应于运动场，研究光流场就是为了从图像序列中近似计算得到运动场的信息，然后根据各个像素点的速度矢量特征，实现图像序列的动态分析。假如图像序列中不出现运动目标时，光流矢量在整个图像区域是连续变化的。反之，运动物体所形成的速度矢量就会与邻域背景速度矢量不同，从而检测出运动目标的具体位置。该算法同时能够在摄像机运动的情况下检测运动目标，但计算复杂，实时性不高。3.2单摄像头目标跟踪3.1基于多特征融合与自适应模板的多目标跟踪算法视觉特征对于跟踪算法的性能有很重要的影响，所选的视觉特征应该能很好的区分跟踪目标与背景。针对单一视觉信息描述目标不够充分、跟踪目标不够稳定的缺点，出现了许多基于多特征融合的多目标跟踪算法[11-15]。文献[11]将颜色、纹理和运动信息三个特征相结合描述目标，该算法采用固定不变的模板，然而当背景和目标外观变化时，易出现失跟。文献[13]针对此问题提出了多特征融合与自适应模板相结合的多目标跟踪算法，能有效处理模板随时间变化的情况，但是算法计算量大。文献[14]为了提高算法的实时性，基于在线自适应模板选择特征个数，计算量大大降低。上述文献都是将多特征用于目标描述。文献[15](针对人脸)将多特征融合技术用于判断新目标的出现；基于在线学习的自适应模板以适应背景与目标外观的变化；以目标观测概率小于某一阈值判断旧目标的消失；对每一个目标单独建立一个粒子滤波器，实现多个目标的跟踪。该方法能在较简单场景下自动判断新目标的出现与旧目标的消失，处理目标部分遮挡及背景变化，但是未能处理目标的分裂与合并(严重遮挡)。3.2基于运动信息的多目标跟踪算法目标总数可变一直是多目标跟踪中的难点，有效地对可变数量目标的判定取决于目标检测的准确度。目标的运动信息是目标检测中一项重要特征，运动检测技术包括光流法、差分法等。目前，比较常用的是差分法。文献[16]针对人的跟踪中常出现的变形、遮挡以及多目标跟踪中常出现的目标合并、分裂、消失、新增等情况。利用背景差分法,差分值分别代表背景和目标。当目标数量发生变化时,采用基于相交区域面积的关联矩阵判断场景中各种特殊情况的发生。当目标轻微合并时，采用基于颜色直方图的均值漂移算法分别跟踪合并在一块的各个目标，当目标分裂时，要判断分裂出的目标属于遮挡前的哪一个目标，用巴氏距离表示分裂前各目标和分裂后目标直方图的关联度，取最大值者作为关联目标。3.3基于3D空间的多目标跟踪算法现实世界中的物体都是三维的，而人眼所获得的图像是二维的，对2D图像来说目标间容易出现遮挡，而对3D图像来说每个目标只有一个位置，可有效地解决多目标间遮挡问题。因此，有些研究者对基于3D的多目标跟踪算法[17-19]进行了研究。这里的3D体现在：3D模型描述目标，3D状态空间。文献[18]提出了基于粒子滤波的多摄像头3D单人跟踪算法，将3D模型和多目视频采集机制嵌入到粒子滤波框架中。利用目标空间位置的惟一性，能对严重遮挡的人进行较准确地跟踪。3D模型可有效地处理目标分裂与合并问题，文献[19]提出了基于MCMC的3D多目标跟踪算法。由于多摄像头必须同步工作，且成本较大，文献[19]中使用单摄像头机制。文中用两个椭圆体表示一个目标，用3D坐标表示状态向量。对多目标用联合状态空间表示。采用一阶动态模型传递状态，利用此状态参数得到模拟二值图，同时对背景建模，利用背景差分法得到背景提取二值图，计算两个二值图相交区域像素点个数与相并区域像素点个数的比值，此值作为状态权值，选择权值大的部分粒子的状态平均和作为目标的最优位置估计。3.3多目标关联2.1目标关联目标关联是指把在不同时刻出现在不同摄像机前的目标进行关联，从而识别出相同的目标，实现不同摄像机中同一目标的对应。这里的关联不同于传统单目摄像机跟踪理论中的目标关联，由于目标物体在不同摄像机前的颜色、形状和摄像机的观测距离、观测角度等方面的巨大的差异，以及各个摄像机的内部参数和监控区域中光照等环境条件的不同等种种复杂的原因，传统计算机视觉理论中关于单目摄像机跟踪关联的很多方法都不再适用。所以，无重叠视域摄像机之间的目标关联[2