机器视觉的辅助驾驶系统的视频中行人检测跟踪

1机器视觉的辅助驾驶系统的视频中行人实时检测识别研究文献综述1机器视觉发展国外机器视觉发展的起点难以准确考证，其大致的发展历程是：20世纪50年代提出机器视觉概念，20世纪70年代真正开始发展，20世纪80年代进入发展正轨，20世纪90年代发展趋于成熟，20世纪90年代后高速发展。在机器视觉发展的历程中，有3个明显的标志点，一是机器视觉最先的应用来自“机器人”的研制，也就是说，机器视觉首先是在机器人的研究中发展起来的；二是20世纪70年代CCD图像传感器的出现，CCD摄像机替代硅靶摄像是机器视觉发展历程中的一个重要转折点；三是20世纪80年代CPU、DSP等图像处理硬件技术的飞速进步，为机器视觉飞速发展提供了基础条件。国内机器视觉发展的大致历程：真正开始起步是20世纪80年代，20世纪90年代进入发展期，加速发展则是近几年的事情。中国正在成为世界机器视觉发展最活跃的地区之一，其中最主要的原因是中国已经成为全球的加工中心，许许多多先进生产线己经或正在迁移至中国，伴随这些先进生产线的迁移，许多具有国际先进水平的机器视觉系统也进入中国。对这些机器视觉系统的维护和提升而产生的市场需求也将国际机器视觉企业吸引而至，国内的机器视觉企业在与国际机器视觉企业的学习与竞争中不断成长。未来机器视觉的发展将呈现下列趋势:（1）技术方面的趋势是数字化、实时化、智能化图像采集与传输的数字化是机器视觉在技术方面发展的必然趋势。更多的数字摄像机，更宽的图像数据传输带宽，更高的图像处理速度，以及更先进的图像处理算法将会推出，将会得到更广泛的应用。这样的技术发展趋势将使机器视觉系统向着实时性更好和智能程度更高的方向不断发展。（2）产品方面：智能摄像机将会占据市场主要地位智能摄像机具有体积小、价格低、使用安装方便、用户二次开发周期短的优点，非常适合生产线安装使用，越来越受到用户的青睐，智能摄像机所采用的许多部件与技术都来自IT行业，其价格会不断降低，逐渐会为最终用户所接受。因此，2在众多的机器视觉产品中，预计智能摄像机在未来会占据主要地位。另外，机器视觉传感器会逐渐发展成为光电传感器中的重要产品。目前许多国际著名的光电传感器生产企业，如KEYENCE，OMRON，BANNER等都将机器视觉传感器作为光电传感器中新型的传感器来发展与推广。（3）市场份额迅速扩大一方面已经采用机器视觉产品的应用领域，对机器视觉产品的的依赖性将更强；另一方面机器视觉产品将应用到其他更广的领域。机器视觉市场将不断增大。（4）行业方面发展更加迅速机器视觉行业专业性公司增多，投资和从业人员增加，竞争加剧是机器视觉行业未来几年的发展趋势，机器视觉行业作为一个新兴的行业将逐步发展成熟，将越来越越受到人们的重视。更多功能的实现主要是来自于计算能力的增强,更高分辨率的传感器(10Mpixels),更快的扫描率(500次/s)和软件功能的提高。PC处理器的速度在得到稳步提升的同时,其价格也在下降,这推动了更快的总线的出现,而总线又反过来允许具有更多数据的更大图像以更快的速度进行传输和处理。产品的小型化趋势让这个行业能够在更小的空间内包装更多的部件,这意味着机器视觉产品变得更小,这样他们就能够在厂区所提供的有限空间内应用.例如在工业配件上LED已经成为主导光源,它的小尺寸使成像参数的测定变得容易,他们的耐用性和稳定性非常适用于工厂设备。智能相机的发展预示了集成产品增多的趋势。智能相机是在一个单独的盒内集成了处理器、镜头、光源、输入/输出装置及以太网。电话和PDA推动了更快、更便宜的精简指令集计算机(RISC)的发展,这使智能相机和嵌入式处理器的出现成为可能。同样,现场可编程门列阵(FPGA)技术的进步为智能相机增添了计算功能,并为PC机嵌入了处理器和高性能桢采集器.智能相机结合处理大多数计算任务的FPGA,DSP和微处理器则会更具有智能性。小型化与集成产品正在一起为实现“芯片上的视觉系统”的最终目标而努力。尺寸更小、更密集的存储卡及成像器分辨率的提高有助于智能相机的开发和扩展。智能车辆(intelligentvehicles,IV)是智能交通系统(in2telligenttransportationsystems,ITS)的重要构成部分,其研究的主要目的在于降低日趋严重的交通事故发生率,提高现有道路交通的效率,在3某种程度上缓解能源消耗和环境污染等问题。2智能车辆发展智能车辆利用各种传感技术获取车体自身和车外环境的状态信息,经过智能算法对其进行分析、融合处理,将最终的决策结果传递给驾驶者,在危险发生之前,提醒驾驶员做出必要的回避动作,避免事故发生;在紧急状况下,驾驶者无法做出反应时,智能车辆则自主完成规避危险任务,帮助驾驶人员避免危险发生。美国开始组织实施智能车辆先导(intelligentvehicleini2tiative,IVI）计划,欧洲提出公路安全行动计划(roadsafetyactionprogram,RSAP),日本提出超级智能车辆系统。我国科技部则于2002年正式启动了“十五”科技攻关计划重大项目,智能交通系统关键技术开发和示范工程,其中一个重要的内容就是进行车辆安全和辅助驾驶的研究。预计在2020年之前进入智能交通发展的成熟期,人、车、路之间可以形成稳定、和谐的智能型整体。3行人检测技术国内外研究现状3.1国内研究现状我国在汽车安全辅助驾驶领域的技术研究要比国外发达国家要晚,目前在视频监控、交叉路口等领域中对运动行人的检测与运动分析进行了相关研究工作,主要是研究基于摄像机固定的条件下的运动目标检测与跟踪，同时,也在积极探讨基于运动摄像机情况下的行人检测方法研究。中科院计算机科学重点实验室孙庆杰等人利用基于侧影的人体模型及其对应的概率模型,提出了一种基于矩形拟合的人体检测算法。中科院自动化所谭铁牛等对人运动进行视觉分析,其核心是利用计算机视觉技术从图像序列中检测、跟踪、识别人并对其行为进行理解与描述,它主要应用在视觉监控领域和基于步态的身份鉴定。步态识别就是根据人们走路的姿势进行身份鉴定,依据人体行走运动很大程度上依赖于轮廓随着时间的形状变化的直观想法,提出一种基于时空轮廓分析的步态识别算法；基于行走运动的关节角度变化包含着丰富的个体识别4信息的思想,提出一种基于模型的步态识别算法。实验结果表明该算法不仅获得了令人鼓舞的识别性能,而且拥有相对较低的计算代价。但是该方法只能检测出运动的行人。西安交通大学郑南宁等研究了利用支持向量机识别行人的方法,通过稀疏Gabor滤波器提取行人样本图像中行人的特征,然后利用支持向量机来训练所提取的样本特征,并用训练得到的分类器通过遍历图像的方式将图像中可能属于行人的窗口提取出来。尽管用Gabor滤波器提取特征效果相对较好,但耗时很长,不适合于实时图像的处理。上海交通大学田广等提出了一种coarse-to-fine的行人检测方法,将一个人建模成人体自然部位的组装,人体的所有部位包括头肩、躯干和腿、采用绝对值类Haar特征集和Edgelet特征集,在这些特征集上,采用softcascade训练各个部位的检测器和全身检测器。首先采用全身检测器在整个图像中产生候选行人区域,然后用基于贝叶斯决策的组合算法进一步确定候选区域中的行人。实验结果表明该算法有很好的检测性能能在杂乱的自然场景中有效的检测行人。但该方法的识别率是78.3%,识别率不高，且该模型比较难构建,模型求解也比较复杂。清华大学的黄深设计的实时夜间行人检测系统,系统首先,根据实际粗分割的候选区域特点进行分析,提出基于两种不同特征提取方法的双层结构形状识别分类器,将闺值化提取形状特征的方法和边缘特征有效地融合在一起。在这个设计思路和框架基础上,进一步提出了新的自适应边缘提取算法和阂值化方法,使得形状特征的提取效果得到改进。最后,利用Hausdoroff距离的度量原理加以改进,结合模板匹配的检测识别算法,分别构造实现了形状识别分类器的两层子分类器。多次实验测试结果显示,与原有形状识别分类器算法的性能相比,改进后的分类器对于分割算法的不可靠性具有更强适应性。同时,也使得整个系统的误识别率大幅度降低,达到设计目标。3.2国外研究现状目前,在国外许多文献中提出了基于机器视觉的行人检测方法,意大利帕尔玛大学的AlbertoBroggi教授在ARGO项目中采用一种基于外形的行人检测算法。算法首先根据行人相对于垂直轴有很强的垂直边缘对称性、尺寸和外貌比例等在图像中找到感兴趣区域,然后提取垂直边缘,选择具有高垂直对称性的区域。通过5计算边缘的熵值去掉图像中始终一致的区域。在剩下的具有对称性的候选区域中,寻找目标侧向和底部边界画出矩形方框,通过包含行人头部模型匹配定位行人头部。在市区试验表明,当视野中有完整的行人存在时能得到较好的效果,在10一40m的范围内都可以正确地进行识别,并且可以较好地适应复杂的外界环境。由欧盟资助的SAVE-U（SensorsandsystemArchitecturEforVulnerableroadUsersprotection）项目于2002年开始实施，2005年完成。该项目由Volkswagen,DaimlerChrysler,SiemensVDO等机构参与研发。SAVE-U项目的目的在于开发一套完整的行人（包括骑自行车者）保护系统，该系统通过检测道路上的行人和骑自行车者，并向车辆驾驶员提供主动安全预警甚至是紧急安全制动等控制。SAVE-U系统融合了多种信息传感器，包括CCD摄像机、红外摄像机以及雷达等，通过多种信息的融合能够较好的实现道路行人的检测和及时预警。可以对车辆前方5m到25m，侧向1.4m到4m范围内出现的行人和骑自行车者进行一定的保护。美国Maryland大学研制的W4实时监控系统，该系统能检测运动的人体并对其进行跟踪。其具体的算法流程为：系统首先从静止的视频图像中利用减背景法分割出行人轮廓，然后利用统计得到的行人形状模型建立行人线性点模型。该系统适用于民宅、银行、地铁站、停车场等场合。美国明尼苏达大学的O.Masuoud和N.P.Papanikolopoulos等人，利用静止的单目CCD摄像机对灰度图像视频序列进行行人识别与跟踪，并且建立了行人的轮廓模型，该方法的成果主要用于道路交叉口行人的识别与跟踪控制。2007年，德国DaimlerChrysler研究机构开发了一套面向行人交通安全的车辆安全辅助驾驶系统，该系统通过计算实际道路的限制条件确定了图像感兴趣区域，在立体视觉条件下，运用行人形状特性、神经网络等一系列方法实现了对道路感兴趣区域内行人的检测。除以上应用于实际的行人检测系统之外，还有大量与行人检测、跟踪技术相关的学术研究成果。美国麻省理工学院的M.Oren与C.Papageorgiou建立了Haar小波模板，并将其应用于行人检测当中，Haar小波模板常用于表达简单的物体，具有有效、快速检测的特点，现已被广泛的应用于图像的物体检测中，同样Haar小波模板行人检测算法也成为行人检测领域经典算法之一。62005年，法国的NavneetDalal和BillTriggs使用梯度方向直方图(HOG)来表示人体特征，并在INRIAPerson样本库上进行了验证。此方法检测率高，在人体检测方面有着很强的适用性，同样的该算法在道路行人检测也有很强表现力，现已引起很多学者的关注。2009年，伊利诺伊大学的Niebles.J.C等人，提出了一种使用AdaBoost级联模型的行人识别算法，并将该识别算法应用到行人检测领域，使得行人检测识别效果有所改进。德国的C.H.Lampert和M.B.Blaschko提出了快速子窗口搜索算法(ESS)，从而克服了物体识别与跟踪需要遍历整幅图像的缺点，加快了物体检测的速度，同时该算法成为当前物体识别流行算法之一。7参考文献[1]巩航军，李百川．我国道路交通安全现状及对策研究[J]．交通与运输(学术版),2006,7(01)：98-100．[2]刘强，陆化普等．我国道路交通事故特征分析与对策研究[J].中国安全科学学报，2006，6(6)：1