行人检测和行人跟踪

行人检测和行人跟踪行人检测方法1概述基于计算机视觉的行人检测由于其在车辆辅助驾驶系统中的重要应用价值成为当前计算机视觉和智能车辆领域最为活跃的研究课题之一.其核心是利用安装在运动车辆上的摄像机检测行人，从而估计出潜在的危险以便采取策略保护行人。基于视觉的行人检测系统一般包括两个模块：感兴趣区分割和目标识别[1]行人检测除了具有一般人体检测具有的服饰变化、姿态变化等难点外，由于其特定的应用领域还具有以下难点：摄像机是运动的，这样广泛应用于智能监控领域中检测动态目标的方法便不能直接使用；行人检测面临的是一个开放的环境，要考虑不同的路况、天气和光线变化，对算法的鲁棒性提出了很高的要求；实时性是系统必须满足的要求，这就要求采用的图像处理算法不能太复杂.根据分割所用的信息，可将ROIs分割的方法分为基于运动、基于距离、基于图像特征和基于摄像机参数四种方法。基于运动的方法通过检测场景中的运动区域来得到ROIs。基于距离的方法通过测量目标到汽车的距离来得到ROIs.可以用来测距的传感器主要包括雷达和立体视觉。基于图像特征的方法指通过检测与行人相关的图像特征从而得到ROIs。对于可见光图像来说，常用的特征包括竖直边缘、局部区域的熵和纹理等.对于红外图像来说，主要根据人体尤其是人脸的温度比周围环境温度较高这一特征，通过检测一些“热点”(Hotspot)来得到ROIs。摄像机的安装位置和摄像机参数也是一个很重要的考虑因素.它对行人在图像上出现的位置和每个位置上目标的大小给出了很多限制,合理利用这些限制可以大大地缩小搜索空间。根据利用的信息的不同，目标识别可以分为基于运动的识别和基于形状的识别两种方法。基于运动的识别方法指通过分析人运动时的步态(Gait)特征来识别行人.人体的步态具有特定的周期性，通过分析图像序列的周期性,然后与行人步态的周期性的模式相比较,就可以识别出行人。基于形状的识别方法指通过分析目标的灰度、边缘和纹理信息来对目标进行识别。基于形状的方法包括：基于明确人体模型的方法，基于模板匹配的方法，基于统计分类的方法。基于明确人体模型的方法指根据人体结构的知识，构造一个明确的2D或3D参数模型，通过提取图像的底层特征来求解模型,从而识别行人。基于模板匹配的方法通过存储一些灰度或者轮廓模板来表示行人，识别的时候只需要度量模板与输入窗口的距离就可以识别行人。基于统计分类的方法通过机器学习从一系列训练数据中学习得到一个分类器，用该分类器来表示行人，然后利用该分类器对输入窗口进行识别。基于统计模型的方法主要包括两个步骤：特征提取和分类器设计.特征提取的目的是降低数据的维数，得到能反映模式本质属性的特征，方便后面的分类；分类器设计属于机器学习领域的范畴，其目的是得到一个计算复杂度较低，并且推广性较好的分类器.针对行人识别问题，可根据分类器的设计方法将现有的基于统计分类的方法分为基于神经网络(NN)的方法，基于支持向量机(SVM)的方法和基于Adaboost的方法[1]。[1]贾慧星，章毓晋.车辆辅助驾驶系统中基于计算机视觉的行人检测研究综述.自动化学报.2007.33行人检测常用的研究方法行人检测包括了行人目标的分类和行人的跟踪等方面,涉及到计算机视觉、模式识别和人工智能领域的许多核心课题,是一个具有挑战性的困难问题。目前,在许多文献中提出了多种关于行人检测的方法,常用的方法有基于运动特性的方法、基于形状信息的方法、基于行人模型的方法、立体视觉的方法、神经网络方法、小波和支持向量机的方法等。基于形状信息的方法由于行人探测是在车辆运动的状态下进行的,这样会带来摄像机的运动,从而背景图像也会相应发生变化。基于形状信息的行人检测方法回避了由于背景变化和摄像机运动带来的问题,主要是依靠行人形状特征来识别行人,因此基于形状的行人检测方法能识别出运动和静止的行人。意大利帕尔玛大学的AlbertoBroggi教授在AR2GO项目中采用一种基于外形的行人检测算法。算法首先根据行人相对于垂直轴有很强的垂直边缘对称性、尺寸和外貌比例等在图像中找到感兴趣区域,然后提取垂直边缘,选择具有高垂直对称性的区域。通过计算边缘的熵值去掉图像中始终一致的区域。在剩下的具有对称性的候选区域中,寻找目标侧向和底部边界画出矩形方框,通过包含行人头部模型匹配定位行人头部。在市区试验表明,当视野中有完整的行人存在时能得到较好的效果,在10~40m的范围内都可以正确地进行识别,并且可以较好地适应复杂的外界环境。德国DaimlerOChrysler研究中心的Gavrila开发的行人检测系统在城市交通助手UTA中进行了试验。盖系统主要分为两步,首先是在等级模板匹配过程中应用行人轮廓特征来有效锁定候选目标。然后在模式分类中根据丰富的亮度信息运用径向基函数来验证候选目标。基于形状信息的行人检测方法存在两大难点:一是行人是非刚性的,形状信息具有多样性,算法要考虑很多基本的信息,导致计算量增大;二是行人在行走的过程中,由于会产生遮挡现象,这就无形中增加了基于形状信息行人检测的难度。基于运动特性的方法运动是探测场景图像中感兴趣区域重要信息,基于运动特性的行人检测就是利用人体运动的周期性特性找到行人。德国DaimlerOBenz研究中心B1Heisele的研究是基于行人与像平面平行的方向行走时腿部运动特征,从彩色序列图像中识别出行人。首先将每幅图像分割成区域图像并对象素按颜色P位置特征空间进行聚类,通过在连续图像中匹配相应的类,并对各类进行跟踪。然后利用快速多项式分类器估计基于类形状特征的时间变化来初步选择可能属于人腿的类。最后通过时空接受域延时神经网络将属于行人腿的类进行分离。Lipton通过计算运动区域的残余光流来分析运动实体的刚性和周期性,非刚性的人的运动相比于刚性的车辆运动而言具有较高的平均残余光流,同时它也呈现了周期性的运动特征,据此可以将人区分出来。大多数基于运动方法运用行人独有的运动节奏特征或运动模式来探测行人,而且能在运动摄像机情况下探测到运动目标,但是应用基于运动的行人检测还有一定的局限性:(1)首先为了提取运动节奏特征要求行人脚或腿是可见的;(2)识别时需要连续几帧序列图像,这样延误了行人的识别,增加了处理时间;(3)不能识别静止行人。基于模型的方法基于模型的行人检测方法是通过定义行人形状模型,在图像的各个部位匹配该模型以找到目标。行人模型主要有线性模型、轮廓模型以及立体模型等。线性模型是基于人运动的实质是骨骼的运动,因此可以将身体的各个部分以直线来模拟。美国马里兰大学的V1Philomin等首先应用背景减除法从静止CCD获得的图像中自动分割出行人边缘轮廓,得到行人的统计形状模型。然后建立线性点分布模型,利用主分量分析简化维数,找到8维变形模型空间。基于轮廓模型的跟踪是利用封闭的曲线轮廓来表达运动目标,并且该轮廓能够自动连续地更新。例如美国明尼苏达大学的O1Masoud利用静止的单目CCD对序列灰度图像进行行人跟踪,主要用于在交叉路口行人跟踪控制。立体模型主要是利用广义锥台、椭圆柱、球等三维模型来描述人体的结构细节,这种模型要求更多的计算参数和匹配过程中更大的计算量。如K1Rohr利用通用圆柱模型来描述行人,目的是想利用该模型来产生人的行走的三维描述。利用轮廓模型进行跟踪有利于减少计算的复杂度,如果开始能够合理地分开每个运动目标并实现轮廓初始化的话,既使在有部分遮挡存在的情况下也能连续地进行跟踪,然而初始化通常是很困难的。小波变换和支持向量机从20世纪80年代后期开始逐步发展起来的小波分析克服了傅立叶分析的不足,具有良好的空间局部分析功能和多分辨分析功能,并且具有良好的重构性和滤波特性。美国M1Oren介绍了可训练的目标探测方法,用来探测静止图像中的相关人。由于人体是一个非刚性的目标,并在尺寸、形状、颜色和纹理机构上有一定程度的可变性。行人检测主要是基于小波模板概念,按照图像中小波相关系数子集定义目标形状的小波模板。系统首先对图像中每个特定大小的窗口以及该窗口进行一定范围的比例缩放得到的窗口进行Harr小波变换,然后利用支持向量机检测变换的结果是否可以与小波模板匹配,如果匹配成功则认为检测到一个行人。最近他们又结合基于样本的方法对系统做了改进,对人体的每个组成部分进行相应的小波模板的匹配,之后对这些分量的匹配结果进行总的匹配评价。首先将图像进行水平方向、垂直方向以及对角线方向进行Haar小波变换,然后扫描与行人相关的模型,最后用支持向量机统计推理进行识别。为了避免重叠现象,系统按照一定等级利用多个分类器分别对手臂、头部和腿进行分类。基于小波变换和支持向量机的方法需要按不同尺度搜索整幅图像来找到行人,这样计算量很大。为了实现对行人进行实时检测与跟踪,需要减少小波特征,降低支持向量机的维数。立体视觉立体视觉的基本原理是从两个(或多个)视点观察同一景物,以获取在不同视角下的感知图像,通过三角测量原理计算图像像素间的视差来获取景物的三维信息。由于单目视觉不能准确的获得前方车辆的距离信息,而且在复杂场景内由于噪音的干扰不能有效的识别行人,而立体视觉由于能够获得图像的深度信息,因此在行人检测领域中得到一定的应用。意大利帕尔玛大学的A1Broggi和美国坦克及机动车辆司令部M1DelRose等利用立体视觉技术进行预处理在一般非结构化环境下定位行人位置。系统首先将采集到的左、右图像进行边缘提取、二值化和形态水平膨胀,然后将左幅图像的每行与右幅图像每行进行匹配,计算左右特征图像中相应行的相关性用来计算他们之间的偏移量。最后找到两幅图像中相应成分的偏移量,右幅图像偏移相同偏移量与左幅图像相应的行人区域进行特征匹配,根据垂直直方图和水平直方图确定行人区域的边界。也有一些行人检测系统常用立体视觉来寻找感兴趣区域,以便后续模式分类或利用立体视觉根据对称性用来验证步骤探测到的定人区域。如美国梅隆大学的LiangZhao和E1Thorpe首先对经过图像进行拉普拉斯运算,利用区域相关性计算视差映射图;然后视差值可以按照不同等级进行搜寻。通过距离阈值从视差图像中排除背景目标,然后采用形态相近算子去除噪声并平滑前景图像区域。最后将所有探测到的可能含有行人目标的方框区域输入到训练神经网络进行行人识别。神经网络人工神经网络在行人识别技术中的应用主要是对利用视觉信息探测到的可能含有行人区域进行分类识别。如LiangZhao和E1Thorpe首先利用立体视觉进行目标区域分割,然后合并和分离子目标候选图像成满足行人尺寸和形状约束的子图像,最后将所有探测到的可能含有行人目标的方框区域输入到神经网络进行行人识别。B1Heisele将每幅图像分割成区域图像并对像素按颜色P位置特征空间进行聚类,利用快速多项式分类器估计基于类形状特征的时间变化来初步选择可能属于人腿的类。最后通过时空接受域延时神经网络将属于行人腿的类进行分离。行人检测所用传感器行人检测技术的关键是及时、准确、可靠地获取环境信息,因此高性能的传感器必不可少。目前各国行人检测技术采用的传感器主要有机器视觉(立体视觉、单目视觉)、红外成像传感器、微波雷达、激光等,这些传感器可对周边环境进行非接触探测,以获取车辆周边的行人等障碍物以及它们的距离、速度等信息。机器视觉机器视觉技术是目前智能车辆领域发展最快的技术之一。与其它传感器相比,机器视觉具有检测信息量大、能够遥测等优点。视觉技术在智能车辆研究领域已经有比较成功的应用,以上介绍的各种行人检测方法都是利用机器视觉提供的丰富信息进行行人探测与跟踪,所有这些视觉处理方法都要考虑到由于行人外形、衣着等因素造成的行人视觉图像信息的复杂性。现在制约着视觉技术在行人检测方法中的应用的关键因素就是视觉技术的数据处理量大,容易导致系统的实时性问题。要解决这一难题,国外有些研究机构主要从两方面着手:一是采用高性能的硬件,二是提出新的视觉处理算法。红外成像传感器为了适应在比较黑暗的环境中较好地对行人进行检测,红外成像技术就自然成为一种比较好的方法,因为用红外技术可以克服普通机器视觉很难解决的行人检测中光照对检测效果的影响。红外成像依据的