视频监控中运动目标检测和阴影消除

-1-视频监控中运动目标检测和阴影消除张起贵1，杜永峰1，张光伟1（1．太原理工大学信息工程学院，山西太原030024）摘要:由于外界环境的复杂性，视频监控中检测出的运动目标往往轮廓缺损，并伴随阴影和噪声的问题。提出了一种方法用以改善轮廓、消除阴影和噪声。首先利用五帧梯度图像的差分确定运动目标的变化区域，再和背景差分法的结果相或，获取了运动目标的完整轮廓。分析了阴影在HSV颜色空间的特性，用以消除阴影，并根据噪声的分布特性去除噪声。处理结果表明，处理速度为20ms/帧，达到实时性要求,获得的运动目标消除了阴影和噪声，具有较强的鲁棒性。关键词：运动目标检测；梯度图像；五帧差分法；背景差分法；阴影消除；去噪中图分类号：TN27;TP391ShadoweliminationandmovingObjectDetectionintheVideoSurveillanceZhangQi-gui1,DuYong-feng1,ZhangGuang-wei1(1..DepartmentofInformationEngineering,TaiyuanUniversityofTechnology,Taiyuan,030024,China)Abstract:Duetothecomplexityoftheexternalenvironment,movingtargetdetectedinvideosurveillancetendstopossesscontourdefects,aswellasshadowandnoiseproblems.Itproposedamethodtoimprovetheprofile、eliminatetheshadowandnoise.Firstly,itusedfiveframegradientimagetodeterminethechangedregionofthemovingobjectandthenortheresultsofbackgrounddifferencingmethodtoobtainacompleteoutlineofthemovingtarget.ItanalyzedthecharacteristicsofHSVinthecolorspace,soastoeliminatetheshadow.Andinaccordancewiththedistributioncharacteristicsofnoiseitremovedthenoise.Processedresultsshowthatintheprocessingspeedof20ms/frame,itachievesreal-timerequirements.Themovingtargetobtainedeliminatestheshadowandnoise,andhasstrongrobustness.Keywords:movingtargetdetection;gradientimage;fiveframedifferencingmethod;thebackgrounddifferencemethod;shadowelimination;de-noising1引言在视频监控技术中，运动目标的有效检测、提取已成为关键技术，并且是进行目标跟踪识别等后续处理的基础[1]。常用的方法有:帧间差分法、背景差分法、光流法。帧间差分法基于时间序列图像上图像的差分来检测运动目标，对光照等外界干扰不敏感，但一般难以获取运动目标的完整轮廓[2]，对于非整体运动的对象，如非刚体，仅用三帧的信息不能对其少量运动的部分进行有效的分割[3]，文章采用五帧差分法，以获得较好的效果；背景差分法将前景目标从背景中分离出来，从而获得运动目标的位置、大小、形状等比较完整的信息，基金项目：国家自然科学基金资助项目三维CT统计重建算法研究（60772102）作者简介：张起贵（1963—），男，山西太原人，教授,研究生导师，主要研究方向是数字图像处理。-2-但该方法对外界环境变化，如光照、外来事件等较为敏感[4]。由于视频监控环境的复杂性，获取的图像序列难免受噪声以及其他外来影响，直接使用差分图像难以有效提取运动目标。如果在计算图像梯度信息后，利用图像梯度不受亮度、噪声影响的特点来提取运动目标，则可大大减少这方面的影响。文章将五帧差分法和背景差法相结合获取了比较好的效果。图1算法基本流程Fig.1Flowingchartforalgorithm2基于梯度图像五帧差分和背景差分的运动目标检测新方法2.1基本思路和流程如图1所示，文章提出算法的特点是基于梯度图像，将五帧差分与背景差分法相结合。预先选取第2帧作为背景差分法中的背景帧，将第3帧与第2帧差分，得到运动目标在第3帧图像中的二值化图像。对输入的5帧图像求梯度，然后将对应的图像帧进行差分，得到运动目标在中间帧（第3帧）的二值化图像。将两种方法获得的二值化结果相或，改善轮廓中的断裂和空洞。最后，进行数学形态学滤波消除噪声点。2.2背景差分法文章的背景选择了基于上下文的背景模型，即对当前帧图像之前采集到的图像进行处理，取得背景图像。背景需要适时刷新，刷新速度过慢降低了反应灵敏度；刷新速度过快增开始求出相邻五帧的梯度图像1,2,3,4,5fffff对求差分并二值化1,3ff对求差分并二值化对求差分并二值化对求差分并二值化3,5ff3,4ff2,3ff二值化结果相与获取中间帧相对运动边缘结果相或获取监控目标在中间帧更多运动边缘信息二值化结果相与获取中间帧相对运动边缘两种方法的结果相或背景差分法获取监控目标第三帧的二值化结果数学形态学消除噪声结束-3-加了不必要的运算量，根据刷新率来控制背景迷信的刷新。用(,)txyf来表示当前采集的图像上点(,)xy的灰度值，(,)txym来表示背景图像上(,)xy的灰度值，t为采集的图像帧序列号。11(,)(1)(,)(,)tttxyxyxyfmm（1）将背景模型的更新与后面的分割结果相结合，这实际上是用运动目标跟踪的结果来指导更新。经过这种改进可以在保护背景模型不受运动目标影响的同时迅速响应背景的变化[5]。文章先以第一帧当作背景，等得到第三帧目标图像的分割结果的时候开始与五帧梯度差分法第三帧的目标分割结果想或，以后的图像序列依次进行对应帧的或操作。2.3梯度图像的生成采用背景差分法提取运动目标的关键在于准确地定位目标和噪声之间的差别,从而准确地提取分割阈值。不同环境条件下，视频序列的图像信/噪比(噪声污染情况)不同,对其帧差图像使用的分割阈值也应不同,基于固定阈值的视频图像分割方法不具备自适应性。由于监控系统所处环境的复杂性,图像采集中必然引入的量化噪声以及可能的摄像头光圈自动调节等因素的影响,直接使用差分图像难以有效地提取出运动目标。如果在提取图像的梯度信息之后,利用图像的梯度不受亮度、量化噪声影响的特点来提取运动目标,则可以大大减少这方面的影响[6]。利用边缘检测性能较好、计算复杂度较低的Sobel算子[7]提取梯度图像:HHfyxEtyxftyxftyx,,,,,,（2）10120210141Hx，12100012141Hy。其中，tyxfE,,是像素点yx,在t时刻的近似梯度幅值。Hx、Hy分别是水平、垂直方向上的Sobel算子。其中,tyxf,,为灰度图像;对于彩色图像Gyxf,、Byxf,、Ryxf,分别代表yx,点的RGB颜色分量,可先按照式（3）将其转换为灰度图像.RBGyxfyxfyxfzyxf,29.0,114.0,587.0,,（3）2.4梯度图像的五帧差法算法描述(1)序列图像处理用来确定图像序列中有无物体运动、解决低信噪比条件下的运动小目标检测问题的较好方法。通过采集设备实时从外界环境里获取运动彩色图像,其颜色种类多,不利于图像处理,因此要把彩色图转换为灰度图,其灰度值和RGB颜色对应关系如下:0.2990.5870.114grayRGB。然后求出每一帧灰度图像的梯度。(2)假设在时间间隔1,2,3m内,成像传感器获取一个m帧序列的梯度图像表示为:1,2,3ffffm()a。取连续五帧序列原始梯度图像1,2,3,4,5fffff。取-4-中间帧3f，对1,3,5fff；2,3,4fff分别计算帧间不同位移量的中间帧3f的运动对象边缘，即将1,3,5fff和2,3,4fff分别进行三帧差分运算，对得到的二值图像进行或操作，将五帧中相当于中间帧的运动信息都集中在中间帧。(3)对得到的二值图像结果进行后处理,去掉从背景中分割出的孤立噪声。填充目标区域的孤立背景空缺,得到的结果为原始图像3f的运动目标分割图像。(4)对(a)式表示的下一个连续五帧2,3,4,5,6fffff序列图像重复步骤(2)，(3),可以得到(a)式中的m-2帧序列图像的运动目标分割像。从图2可以看到，本文的目标检测方法在外界环境条件不复杂的情况下，可以正确的检测出运动目标，并且效果好于单一采用背景差分法或单一采用三帧差分法。但是这种方法也有不足之处，在复杂场景中很难检测出的运动目标的阴影，所以后续需要进行阴影消除。（a）原始图像（b）背景差分法（c）三帧差分法（d）本文算法图2几种常用算法实验效果的比较Fig.2Experimentalresultsandcomparisonofcommonalgorithms3阴影消除和去噪3.1阴影消除视频监控中检测运动目标的时候，经常会把目标产生的阴影也包括在前景当中，产生消弱检测质量的问题，如一个运动目标的阴影会和相邻的目标的连接在一起，造成正确分割运动目标个数的困难。对以后的目标区分、跟踪、识别、分类等都造成影响。会使后续步骤变得困难，正确率也会下降很大，所以必须消除阴影。但是阴影的消除有很困难，一是因为阴影跟背景区别很大而被理解为前景，二是阴影依附着运动目标，他们有相同的运动属性。目前，阴影消除的方法很多，在RGB颜色空间中，可以用矢量来表征像素点，并以当前图像中的像素点矢量与对应的背景点矢量相减得到能表征亮度和色彩的彩色模型，然后建立背景模型；在HSV颜色空间中，利用色度、饱和度和亮度三要素可以建立背景模型，对阴影进行检测和识别.在HSV颜色空间中，各分量的定义如下：H参数表示色调（Hue），即颜色本色，该参数用角度量表示，从0o到360o。(“色调”常常被叫作“色彩”。RGB颜色是“原色”。)；S参数表示饱和度(Saturation)，它表示所选颜色的纯度和该颜色最大纯度之间的比率；V参数表示色彩的明亮程度(Value)。阴影有个特性，当运动目标和阴影同时出现的时候，阴影和运动目标的灰度相对于背景灰度的改变可能差不多，但是色度上阴影几乎相对背景没有改变。算法应用在HSV空间更加符合人的主观认识。所以，可以利用色度信息区除阴影。并且阴影的去除是在坚持运动目标后进行的，只需处理有运动目标的地方，所以运算量很低。采用下面的公式检测运动区域里的阴影。If121(,)/(,)1(,)/(,)HHSSttttBxyIxyTBxyIxyT,then(,)1tmxy，-5-else(,)0tmxy。其中，(,)tmxy为运动区域的检测结果，阴影点为1,非阴影点为0。(,)HtBxy和(,)StBxy为t时刻背景点(,)xy的色调分类和饱和度分量；(,)HtIxy和(,)StIxy代表t时刻前景点(,)xy的色调分类和饱和度分量。图3为一个路口监控场景中，对汽车阴影的消除，对低亮度汽车和高亮度汽车的阴影消除的都达到了预期效果。（a）原始图像（b）获取的运动目标（c）运动目标的阴影消除图3阴影消除Fig.2shadowelimination3.2运动目标的分割在运动目标识别之后，需要进行分割。我们可以采用经验值作为结果元素参数对运动块进行膨胀，如图4所示：图中有6个运动块，在水