视频内容分析在智能交通监控系统中的应用

视频内容分析在智能交通监控系统中的应用摘要：视频检测技术在智能交通方面的应用，代表着道路交通检测技术的一种新的发展趋势。本文提出了一种高性能、多功能的道路交通视频检测方法，采用背景消除、多目标跟踪、定制检测虚拟线等手段来检测和处理在道路多车道上的车辆通行情况，并及时统计和分析道路交通的状况，为智能交通提供基本信息；运用动态图像理解技术分析道路上的车辆事故、车辆违章等事件，为交通管理提供了一种有效、灵活、性价比高的道路交通监控手段。关键词：智能交通，道路视频监控，视频内容分析1引言嵌入式计算、无线通信和传感器技术的迅速发展和结合，使人们能几乎是无所不在地采集、传输和存储道路视音频数据。如果对这些海量的视频数据能进行及时准确的分析和理解，就能实时获取交通基本数据，对交通拥堵和交通事故进行预测，在智能交通领域发挥重要作用。但是目前对各种交通事件和异常情况的视频监控主要还是依靠人工判断，使得这些数据难以得到充分的利用。因此基于动态图像理解的智能交通监控技术开发高效的系统已经成为目前计算机视觉领域极富有挑战性的科学问题之一。当前，交通信息检测的方式主要有磁频车辆检测、波频车辆检测和视频车辆检测三种。磁频车辆检测如环形线圈检测器需要安装特定的装置，也许首次的投资少，但维护费用大且麻烦；波频车辆检测则容易受到干扰；而视频检测作为交通参数采集的一个新的检测方式，它与其他的车辆检测方式相比具有以下的优点：(1)检测手段完备；(2)检测区域较大；(3)安装无需接触公路实体。随着计算机软硬件技术和图像处理、人工智能、模式识别等技术不断发展，视频检测的实时性和正确率已达到了较满意的程度，被认为是最有发展前途的检测方式之一，目前受到交通经营、管理部门和研究人员越来越密切关注[1-2]。2论文概述2.1研究结果本文利用视频图像处理的方式对道路的情况进行视频监控，通过动态图像的理解获取道路基本信息，包括交通流量、车辆速度以及占有率等重要交通流数据；此外通过图像高级语义来分析车辆的违规行为，如超速、占用车道及逆向行驶；在线检测车道上的异常情况，如交通堵塞、交通事故的发生。实验结果表明，本文所开发的系统具有准确性高、实时性好的特点。2.2相关的国内外研究状况在智能交通视频检测方面由于有诸多优点，近年来已成为国内外学者关注的热点[3,4,5,6]。目前绝大多数的研究方式都是先进行视频采集，然后对视频文件进行处理和分析，然后把结果进行显示，或者传输给其他处理分析程序使用或者存储以备下次处理分析使用。而动态图像理解属于人工智能学科中一个非常重要的分支。人工智能是模仿人类思维行为的一门学科，那么是否可以将人类的思维方式应用到我们的视频检测中去呢?MubarakShah等学者在国际计算机视觉权威杂志“InternationalJournalofComputerVision”期刊上撰文[7]指出：21世纪的计算机视觉研究将从今天的静态图像研究转向动态图像序列分析或者说是动态图像理解。对动态视频监控主要的目标任务是实现监控对象的行为进行语义化描述，即被专家学者们称之为“逆好莱坞问题”(InverseHollywoodproblem)[12]。Kojima等学者[8]指出：要在动态图像语义鸿沟之间用架桥的方式(bridgeasemanticgap)来解决“逆好莱坞问题”。动态图像序列的语义理解是智能视觉监控的关键理论和方法，是实现智能交通的重要途径，国内外许多学者发表了各个领域中的研究成果[5,6]。2.3系统的理论架构从以上研究成果中，可以知道世界各国学者们把注意力集中在现存的、比较容易采集到的动态视频图像理解方面，因此大多数的论文都是集中在道路车辆的监控、智能安保等领域。本文中提出了一个对所关心的对象的行为、事件及情景等通过高级语义进行描述的系统理论构架，并通过该框架来解析道路视频监控一些问题。动态图像理解问题从高层语义的角度来看可以认为是解释一个情景语义问题，以人的思考方式来说，人们从视频图像中首先关心是获取关心的对象信息，然后通过解析获取所关心对象的状态或者事件信息，最后通过对其一个个状态或者事件信息进行分析和抽象得到我们所需要的理解结果。本文的目的也是希望机器也能具备与人的思考方式一样管理着道路交通以及交通安全与调度。其中关键问题是如何将对象跟状态或者事件进行关联，再将状态或者事件跟对象行为语义进行关联，最后对视频情景作出语义解释。本文根据“解决逆好莱坞问题”的视频处理思路将图像的语义分为：底层特征层、对象层和概念层；将图像理解和处理中分为四个阶段，分别是：视觉感知处理、概念化处理、形式化处理和行为语义处理，在这个四个阶段处理研究中所获得的一些方法我们就称为中间件，分别是基础中间件、应用中间件、面向高层中间件和情景动作规则中间件，如图1所示。除以上三部分以外，还有很重要的一部分即为层与层之间的语义关联算法，这也是我们要重点研究的一部分。2.3.1底层特征层底层特征层主要涉及到基于对象的一些基本属性，如颜色、形状、纹理和空间关系等。在这个层面上的知识和信息获取手段属于低级视觉感知处理，本文中将实现各种视觉感知处理的一些算法归属于基础中间件。2.3.2对象层从图l中可以看出对象层处在底层特征层与概念层之间，起到承上启下的作用，因此在不同层次之间或者层内之间必须建立语义映射关系。在对象层中我们关心的有对象(Object)和事件(Event)两类。对象又可以分为可以看作是静态对象的场景对象和可以看作是动态对象的前景对象，而事件(Event)则是对象之间发生了新的动态联系。如本文所关心的静态对象是道路，活动对象是车和交通信号灯，利用相关关联模型我们就可以得到在某帧图像中诸如车辆处于哪条车道上，车辆现在的所处的位置等等事件或者状态。这个层面上需要经过概念化和形式化两个处理步骤，前者主要的任务是要识别出所关心的前景对象，并从底层特征层所得到的属性与前景对象进行关联；后者主要的任务是获取该对象的一些事件或者状态，为提取所关心对象的行为语义作好准备。前景对象的事件或者状态必须通过动态过程才能展现出来，因此在前者与后者之间必须建立一种动态关联。在这个层次上，本文中将概念化处理的各种算法归属于应用中间件；将形式化处理的各种算法归属于面向高层应用的中间件。图1系统理论结构2.3.3概念层概念层主要解决图像通过道路场景、车辆行为等所表达的意义。这个层的知识和信息获取手段属于行为语义化处理。在这个层面上是采用一些用于提取对象行为语义的情景动作规则中间件来实现的。通过上述的划分，主要目的是能通过中间件的方式来实现开发高效的视频监控系统，容易的跨越语义鸿沟。3统理论构架中各分层设计3.1系统底层特征层的分析与描述本文研究的是道路上的视频监控，场景对象是道路，前景对象是车辆。因此首先要在底层特征层将道路背景中把前景车辆分离出来。在这一层中文本所用到的基础中间件主要由自适应背景消减、阴影抑制和连通区域标识三个部分组成，其处理顺序图如图2所示：图2基础中间件处理过程1）自适应背景消减对于非运动的视频传感器。背景建模是解决实时分割动态目标的有效方法。我们采用的是基于混合高斯分布模型的自适应背景消除算法，它的基本思想是：使用混合高斯分布模型来表征图像帧中每一个像素点的特征：当获得新的图像帧时，更新混合高斯分布模型；在每一个时间段上选择混合高斯分布模型的子集束表征当前的背景：如果当前图像的像素点与混合高斯分布模型相匹配，则判定该点为背景点，否则判定该点为前景点[9]。2）阴影抑制由于运动对象之间的遮挡和光照的不均匀等原因，经常产生阴影现象。这样通过背景消底层特征层颜色、形状、纹理、区域对象层对象与对象之间的关系概念层对象的行为语义基础中间件分割变化区域应用中间件识别对象面向高层的应用中间件提取对象语义情景动作规则提取对象行为语义视觉感知处理概念化处理形式化处理行为语义化处理自适应背景消减阴影抑制连通区域标识减所得到的前景目标区域中含有很大部分阴影区域，为运动对象的正确分割和提取造成严重的影响。在彩色颜色模型空间中，任何颜色部可由YCrCb表示。阴影和道路的区别在于颜色分量CrCb相同(相近)，亮度分量Y较小。我们可以先学习道路的颜色分量CrCb和亮度分量Y，当碰到前景点时，我们判断该点的颜色分量CrCb是否和道路相近，亮度分量Y是否比道路低。这样就可以判断出是否属于阴影。3）连通区域标识连通区域标识的方法很多，本文中采用的是八连通区域提取算法。另外连通区域标识受初始数据中的噪声影响很大，一般需要先进行去噪处理，去噪处理可以通过形态学运算实现，本文中利用腐蚀和膨胀算予分别去除孤立的噪声前景点和填补目标区域的小孔通过这种目标分割算法既能保持目标的完整性同时也避免了噪声前景点的影响，还保留了目标的边缘细节部分。经过以上三步我们就可以从静态的车道背景中将动态的前景车辆分割出来，并且可以得到基于对象的一些初始信息，如对象的火小和形状等等。3.2系统对象层的分析与描述对象层主要考虑的是图像中的对象、对象的活动时间序列及空间刈题、相关事件。要正确、快速的理解某一个对象的语义，知道该前景对象所处的情景(场景的语义)对用机器来理解图像非常有利。情景的内容包括：关心的前景对象，干扰对象和场景对象。在这一层我们要首先在概念化处理阶段得到对象，然后在形式化处理阶段束获取研究对象的一些状态和事件信息，以提供给概念层进行情景规则动作计算使用。3.2.1概念化处理阶段概念化处理阶段是获取对象的阶段，就是在基础中间件获得的动态前景区域基础上，分离出我们关心的研究对象。在本系统中，我们要研究的对象有两个，一个是场景对象车道，一个是前景对象车辆。对于车辆对象获取，关系到底层特征层与对象层的关联。我们知道，在底层特征层中我们获取了动态前景对象的大小、颜色、形状等信息，那么如何通过这些信息，将得到的动态前景区域跟我们所研究的车辆对象关联起来呢?由于本文中关心的活动对象是车辆，那么就可以从动态前景区域的大小来判断其是否为车辆。具体作法是设定一个闽值，如果连通区域的外接矩形的面积在这个闽值范围内的连通区域，我们就判定其为车辆，否则判定为否，这样我们就得到了我们要关心的对象了，实现底层特征层与对象层的关联。3.2.2形式化处理阶段在这个阶段，我们要实现对象与事件的关联，即要描述对象正在处于一个什么事件或者状态之中，这里要关心的对象分为车道对象和车辆对象两部分。车道对象：对于车道对象，在这一层中我们主要关心的是车道的流量和车道占有率两个状态：1)车道流量要获取一个车道的车流量是一个动态图像序列的理解问题，我们在对每辆车进行跟踪的同时，当它第一次进行车道的第Ⅲ区域时，我们就依其所处的车道ID号来统计对应车道的车流量。2)车道占有率车道占有率有空间占有率和时间占有率之分，在本文中我们着重关心空间占有率的计算，空间占有率即指在观测路段长度内，行驶车辆总长度占该路段长度的比例称为空间占有率sQ，即可以用公式(1)进行计算：(%)100xLQiis(1)式中，iL为第i辆车的长度；x为观测路段长度。根据公式(1)，我们可以将在跟踪队列中的车辆对象，根据车道RoadWayNo来确定其是否在该车道，如果是就将其长度加入到车辆总长度上去，车辆长度可根据外接矩形的高度来获取，然后除以车道长度即可获得空间占有率。车辆对象：在本文中我们所关心的对象车辆，我们可以使用以下一个对象来描述其特征：Car(CarlD，RoadwayNo，StartPosition．StartTime，EndPosition，EndTime，CarType)。在车道第1区域我们要获得CarID和RoadwayNo；在车道第Ⅱ区域我们要获得StartTime和StartPosition：在车道第Ⅲ区域我们要获得EndTime和EndPosition。通过这三个区域数据的获得就可以得到某个车辆对象Car的完整信息，直接用于后续的相关情景计算。这里关键问题是要在对象与事件之间建立种动态的关联，就是处理动态图像序列上对象的一致性，而这个动态的关联需要由跟踪算法来完成。通过前面基础中间件和