车载视频中基于深度学习的汽车类型识别

学年论文题目车载视频基于深度学习的汽车类型分类学生姓名刘昌云学号20121336005学院信息与控制学院专业自动化指导教师吴毅二Ｏ一六年1月3日车载视频中基于深度学习的汽车类型识别姓名：刘昌云学号：20121336005南京信息工程大学信息与控制学院江苏南京210044摘要随着数字图像处理技术的发展，视频处理技术被逐步运用到交通检测中。通过单个或多个摄像头采集道路车辆的通行状况，加以基于图像的分析处理，来检测与识别车辆，获取车型、车速、车流量等信息，可配合信息管理系统来实现交通管理。该视频检测系统易于安装、工作稳定、具有丰富的可视信息，代表着交通监控系统的发展方向，是目前国内外研究的热点。在视频图像获取过程中，摄像机轻微抖动、外接光照缓慢变化及树木扰动等外界环境变化影响运动目标的检测精度，针对这一问题，本文提出了一种存在运动目标情况下的背景重建算法，能较好地抑制外界环境变化带来的影响，可将动态背景获取及更新过程合二为一，具有较好的实时性。在视频图像处理过程中，图像中的阴影、目标内部空洞等对定位精度影响较大，本文通过运动区域检测、噪声去除、连通单元标记、内部填充、目标提取、阴影消除等方法，对车辆目标区域进行了精确定位。在车型识别过程中，车辆目标的几何形变对识别准确率影响较大，针对这一问题，本文提出了两种解决方法。一种是基于车辆轮廓特征的车型分类识别方法，该方法先用边界矩、体态比、矩形度、伸长度、圆形度等车辆轮廓形态特征分量构成一个特征向量组，再以欧氏距离为判据实现车型的识别分类，取得了较为理想的效果。另一种是基于车辆轮廓定位匹配的车型分类识别方法，该方法将对噪声和形变适应性较好的Hausdorff距离应用于车型识别分类中，因Hausdorff距离计算耗时长，本文提出了一种改进方法，先利用外接矩形进行预匹配，再利用的Hausdorff距离进行轮廓的精确匹配，实现车辆目标的精确识别，具有较好的实时性。关键词:图像序列;检测;识别;Carvideo-basedcartypeidentificationdepthstudyChangyunLiuCollegeofinformationscienceandtechnology,NUIST，Nanjing210044，ChinaAbstractAlongwiththedevelopmentofdigitalimageprocessing,videoprocessinghasbeenusedintrafficdetectionstepbystep.Usingoneormorevidiconstocollecttheinformationoftrafficstatusondriveway,wecanobtaintheinformationofvehicletype,speed,vehiclefluxandsoonbyimageprocessing.Itcanworkwithinformationmanagementsystemtorealizetrafficcontrol.Becauseoftheadvantageofeasilyfixing,goodreliabilityandabundantvisibleinformation,videodetectionandprocessingsystembecomesthedirectionofthedevelopmentoftrafficcontrolsystemandtheresearchhottopicathomeandabroadpresently.Intheprocessofvideoobtaining,outsideenvironmentvariationsuchaslittleditheringofvidicon,slowvariationaldaylightandtheswayoftreewillaffectthepresicionofmovingtargetdetection.Aimingatthisproblem,thepaperpresentsamethodofbackgroundreconstruction,inwhichtherearemovingtargetsinscene.Thebackgroundcanbedynamiclyupdated.Itcandecreasetheinfluenceofoutsideenvironmentvariationandshortenthetimeofmeasurement.Intheprocessofvideoimageprocessing,theshadowsandinanitionsoftargetwillaffecttheprisicionoforientation.Thepaperlocatesthepositionoftargetsaccuratelybydetectingtargetarea,filteringnoise,markeringconnectedcell,fillinginanitions,detectingtargetandeliminatingshadows.Intheprocessofvehiclerecognition,thevariationofgeometricformwillaffecttherecognitionprisicion.Aimingatthisproblem,thepaperpresentstwomethods.Theoneisamethodofvehiclerecognitionandclassificationbasedoncharacteristicsofcontour.Eigenvectorhasbeenfirststructuredbyusingedgeinvariance,postureratio,rectangledegree,elongationdegreeandroundnessdegree.ThenthevehicletyperecognitionandclassificationissuccessfullyrealizedbyEuclideandistance.Anotheroneisamethodbasedontheorientationandmatchingofcontour.Hausdorffdistancehastheadvantageofprocessinginnoiseandthevariationofgeometricform.SoHausdorffdistanceisusedtorecognizeandclassifythevehicletype.BecauseofmorecalculationofHausdorffdistance,thepaperpresentsanimprovedmethod.IthasbeenmatchedbyusingexternalrectangleinadvanceandthenbyHausdorffdistanceaccurately.Itcanshortengreatlythetimeofmeasurement.Keywords:imagesequence;detection;recognition;speedmeasurement;fluxmeasurement；1.视频图像序列中车辆目标的识别方法1.1车辆目标识别技术车辆识别通常包括车牌识别和车型识别。本文着重研究的是车型识别技术，在车型识别中，可按照车辆大小将车辆分为超大型、大型、中型、中小型和微型等；按照外形来区分则可分为货车、客车、轿车等。细分为车型1：小轿车，SUV,面包车。车型2：大巴。车型3：箱卡。车型4：斗卡。车型5：油罐车，消防车，水泥搅拌车等（凡是不属于车型1，车型2，车型3，车型4都归于车型5）。图像识别的一般含义是在进行图像预处理的基础上对分割出来的目标基元以特征描述分类，确定类别，在分割的基础上选择性的提取目标的几何或纹理特征，然后利用模式匹配、判别函数、决定树、分类器等识别论对图像目标进行分类，该过程的目的在于图像目标的分类描述，其输入一般是经过处理的图像，而输出的是目标类别及图像结构分析。目前常用的目标识别算法通常都采用两种策略:一种是不管待识别目标为何种类型，先对待识别图像进行分割、标识及特征提取等预处理，然后将分割出的目标区域的特征参数与目标模型相匹配，其优点在于具有较好的适用性，不足在于盲目性强，导致了计算量较大。第二种策略是首先根据待识别目标的模型，对图像中可能存在的特征提出假设，然后再根据假设进行分割、标识及特征提取等预处理，在此基础上与目标模型相匹配，其优点在于预处理时已具有一定的先验知识，一定程度上消除了盲目性，提高了算法的效率，其不足之处在于待识别目标改变时，假设也必须随之改变，因而代换性差。目前的车型识别方法大致可以分为两类:基于模式识别的方法和基于图像匹配的方法。前者是根据车辆目标的某特征参数在具体的空间或时间的分布，用模式识别理论将其归类识别，而后者则是通过待识别车辆与车型模板相匹配来完成车型识别的。基于模式识别理论的车型识别流程如图1-1所示。图1.1基于模式识别理论的车型识别流程其中最为关键的步骤是特征选择提取与分类决策。不同的车辆具有各种各样不同的特征，在分类决策时，需要可以将车辆区分为不同类型的特征，在选取特征时应该尽可能的选择对于不同车型差别较为明显的特征参数。图1-2所示，A类特征和B类特征分别表示两种不同车型的同一类型的特征，该两类参数具有明显的分界线，若选取图中的直线作为两类车型的划分标准，必然可以取得理想的分类效果。但现实中，特征或多或少都会有重叠，因而可以考虑选取多个不同特征构成特征向量组表示某一类型的车辆，再通过对多种不同车辆进行分类决策实现车型的分类识别。由于分类器的设计特征选择提取车辆信息获取特征参数个数越多，其计算量也就越大，因此特征参数的个数也未必是越多越好，在现实情况中应该折衷考虑。图1.2理想特征示意图基于图像匹配的车型识别方法流程如图1-3所示。图1.3基于图相匹配的车型识别流程基于匹配的识别方法大致可以分为如下几种:(1)区域匹配区域匹配的思想是把参考图像的某一块整体与实时图像在所有可能位置上进行叠加，然后计算某种图像相似性度量的相应值，最大相似性相对应的位置就是目标的位置。(2)特征匹配特征匹配是在提取特征后，对特征属性矢量(点、边缘、线段等)作相关度计算，相关系数的峰值即为匹配的位置。Moravec在1997年就提出了利用图像灰度自相关函数的特征点检测算子[1];Harris等人提出了Moravec算子的改进算子，该算子对于图像存在旋转、照明变化和透视变形时均可以稳定的完成匹配。(3)模型匹配由于目标在运动中会有旋转、大小的变化，固定的模板已经不能满足准确匹配的要求，因此出现了变形模型。Jain将变形模型分为自由式变形模型和参数式变形模型[3]。1987年Kass等人提出Snake主动轮廓模型是一种典型的自由式变形模型[4]，由控制平滑度的轮廓内部能量、吸引轮廓到特定的图像能量和外部约束能量的组合来控制和约束，它充分利用形状的全局信息，对发生形变的目标轮廓进行匹配。为给定一个适合的初始化轮廓，Menet等人提出了B-Snake，轮廓的表达更加有效，更加结构化。特征选择提取B类特征A类特征车辆信息获取车型识别图像匹配2.视频图像序列中车辆目标的识别方法2.1目标特征的提取及描述目标的图像的表观特征主要表现为形状和灰度分布两大类，其中，形状特征对于光照变化不敏感，而灰度特征更为丰富的反映了目标的相关信息。但是视频图像序列中，光照的变化较大，而光照的变化又将对目标的灰度特征产生较难消除的影响，因此，形状特征较灰度分布将更适合于视频运动目标的识别[5]2.1.1边缘和轮廓特征边缘是指图像局部亮度变化最显著的部分，边缘主要存在于目标与目标、目标与背景、区域与区域之间。轮廓是指将测到的边缘连接起来，形成的封闭的或非