基于Faster-RCNN的车辆识别

基于Faster-RCNN的车辆识别CONTENTS目录1研究背景2基本模型介绍3仿真结果4实验结果总结5参考文献研究背景基本模型介绍仿真结果实验结果总结参考文献随着社会经济和科学技术的快速发展,道路交通环境变得异常复杂截至2017年6月底，全国机动车保有量达3.04亿辆，其中汽车2.05亿辆，私家车总量达1.46亿辆，每百户家庭拥有36辆。2014年，北京六环内工作日常住人口出行总量为4445万人次，较2010年增加了14.7%。研究背景基本模型介绍仿真结果实验结果总结参考文献计算能力与图像处理算法的提升使计算机视觉大规模应用成为可能运算能力大幅提升图像处理、模式识别等算法的提出与改进研究背景基本模型介绍仿真结果实验结果总结参考文献计算机视觉技术有助于全面获取与充分利用交通信息与传统技术形成了良好互补自动化与智能化水平的大幅度提升设备安装与维护代价较低，具备大规模应用条件研究背景基本模型介绍仿真结果实验结果总结参考文献计算机视觉技术推动车辆智能驾驶的实现交通标志、道路行道线识别是交通规则信息获取的核心前方行人、车辆检测是智能车辆导航的关键问题之一研究背景仿真结果实验结果总结参考文献RegionCNN可以说是利用深度学习进行目标检测的开山之作,由RossB.Girshick提出。论文发表的2014年，DPM(Deformablepartsmodels)已经进入瓶颈期，即使使用复杂的特征和结构得到的提升也十分有限。本文将深度学习引入检测领域，一举将PASCALVOC上的检测率从35.1%提升到53.7%。基本模型介绍RCNN研究背景仿真结果实验结果总结参考文献问题一：速度经典的目标检测算法使用滑动窗法依次判断所有可能的区域。本文则预先提取一系列较可能是物体的候选区域，之后仅在这些候选区域上提取特征，进行判断。问题二：训练集（迁移学习）经典的目标检测算法在区域中提取人工设定的特征（Haar，HOG）。本文则需要训练深度网络进行特征提取。可供使用的有两个数据库：一个较大的识别库（ImageNetILSVC2012）：标定每张图片中物体的类别。一千万图像，1000类。一个较小的检测库（PASCALVOC2007）：标定每张图片中，物体的类别和位置。一万图像，20类。本文使用识别库进行预训练，而后用检测库调优参数。最后在检测库上评测。基本模型介绍RCNN研究背景仿真结果实验结果总结参考文献RCNN算法分为4个步骤-一张图像生成1K~2K个候选区域-对每个候选区域，使用深度网络提取特征-特征送入每一类的SVM分类器，判别是否属于该类-使用回归器精细修正候选框位置基本模型介绍RCNN研究背景仿真结果实验结果总结参考文献基本模型介绍RCNN预训练：此网络提取的特征为4096维，之后送入一个4096-1000的全连接(fc)层进行分类。调优训练：同样使用上述网络，最后一层换成4096-21的全连接网络。学习率0.001，每一个batch包含32个正样本（属于20类）和96个背景。研究背景仿真结果实验结果总结参考文献基本模型介绍RCNN研究背景仿真结果实验结果总结参考文献目标检测的四个基本步骤（候选区域生成，特征提取，分类，位置精修）终于被统一到一个深度网络框架之内基本模型介绍Faster-RCNN研究背景仿真结果实验结果总结参考文献问题一：测试时速度慢RCNN一张图像内候选框之间大量重叠，提取特征操作冗余。本文将整张图像归一化后直接送入深度网络。在邻接时，才加入候选框信息，在末尾的少数几层处理每个候选框。问题二：训练时速度慢原因同上。在训练时，本文先将一张图像送入网络，紧接着送入从这幅图像上提取出的候选区域。这些候选区域的前几层特征不需要再重复计算。问题三：训练所需空间大RCNN中独立的分类器和回归器需要大量特征作为训练样本。本文把类别判断和位置精调统一用深度网络实现，不再需要额外存储。基本模型介绍Faster-RCNN研究背景仿真结果实验结果总结参考文献基本模型介绍Faster-RCNN对于分类loss，是一个N+1路的softmax输出，其中的N是类别个数，1是背景。为何不用SVM做分类器了？作者认为softmax效果比SVM好，因为它引入了类间竞争。对于回归loss，是一个4xN路输出的regressor，也就是说对于每个类别都会训练一个单独的regressor的意思。研究背景仿真结果实验结果总结参考文献基本模型介绍Faster-RCNN研究背景仿真结果实验结果总结参考文献基本模型介绍1.特征提取特征提取网络一般直接套用ImageNet上常见的分类网络。这里用的是VGG16，即13个卷积层和3个全连接层。卷积层包含了13层conv，5层pooling，13层relu三种层。Faster-RCNN研究背景仿真结果实验结果总结参考文献基本模型介绍Faster-RCNN在提取好的特征图上，利用区域生成网络（RegionProposalNetwork），对所有可能的候选框进行判别。2.候选框生成研究背景仿真结果实验结果总结参考文献基本模型介绍Faster-RCNN特征可以看做一个尺度51*39的256通道图像，对于该图像的每一个位置，考虑9个可能的候选窗口：三种面积{1282,2562,5122}×三种比例{1:1,1:2,2:1}。这些候选窗口称为anchors。右图示出51*39个anchor中心，以及9种anchor示例。研究背景仿真结果实验结果总结参考文献基本模型介绍Faster-RCNN3.窗口分类和位置精修分类层（cls_score）输出每一个位置上，9个anchor属于前景和背景的概率；窗口回归层（bbox_pred）输出每一个位置上，9个anchor对应窗口应该平移缩放的参数。就局部来说，这两层是全连接网络；就全局来说，由于网络在所有位置（共51*39个）的参数相同，所以实际用尺寸为1×1的卷积网络实现。研究背景仿真结果实验结果总结参考文献基本模型介绍Faster-RCNN代价函数主要分为两种代价（分类误差和前景样本的窗口位置偏差）Loss_cls层评估分类代价𝐿𝑐𝑙𝑠=−𝑙𝑜𝑔𝑝𝑢Loss_bbox评估检测框定位代价𝐿𝑙𝑜𝑐=𝑔(𝑡𝑖−𝑣𝑖)4𝑖=1总代价为两者加权和𝐿=𝐿𝑐𝑙𝑠+𝜎𝐿𝑙𝑜𝑐𝑢为前景𝐿𝑐𝑙𝑠𝑢为背景研究背景基本模型介绍参考文献仿真结果PascalVOC-07数据集分布实验结果总结研究背景基本模型介绍参考文献仿真结果PascalVOC-07数据集标注信息Object1:dog(label)+bounding-boxObject2:person(label)+bounding-boxpicturesizedatasetinformation同一张图片上可能与多个物体，用bounding-box进行分割VOC数据集图像尺寸不统一，为方便训练需进行缩放使用XML格式标注实验结果总结研究背景基本模型介绍参考文献仿真结果PASCALVOC-2007CompetitionVOC-07经典方法（简单特征+强分类器）人工特征（SIFT,HOG）ColorHistogram…K-MeansRandomclusteringforestsSoftper-imageclustering(GMM)SVM+1st2nd3rd实验结果总结研究背景基本模型介绍参考文献仿真结果PASCALVOC-2012CompetitionVOC-2012常用方法（复杂特征+弱分类器）SingleShotDetector(SSD)FasterRCNNRes-NetSoftmaxSVM(Linear)+实验结果总结研究背景基本模型介绍参考文献仿真结果Faster-RCNN网络结构RPN网络Fast-RCNNFaster-RCNN流程结构实验结果总结研究背景基本模型介绍参考文献仿真结果Faster-RCNN训练过程（Alternatingtraining）——较慢1.在已经预训练好的model上（VGG16），训练RPN网络2.利用步骤1中训练好的RPN网络，收集proposals3.第一次训练Fast-RCNN网络4.第二次训练RPN网络5.再次利用步骤4中训练好的RPN网络，收集proposals6.第二次训练Fast-RCNN网络RPN网络Fast-RCNN实验结果总结研究背景基本模型介绍参考文献仿真结果Faster-RCNN训练过程（Approximatejointtraining）——较快将RPN和Fast-RCNN近似合并：1.训练Fast-RCNN时将提取的ROI当做固定值2.在backward更新shared-network参数时，来自RPN和来自Fast-RCNN的loss合并输入原始特征提取层实验结果总结研究背景基本模型介绍参考文献仿真结果实验结果（少量分立目标）实验结果总结研究背景基本模型介绍参考文献仿真结果实验结果（少量目标+overlap）对于训练集中出现的类似物体，在overlap不显著时，Faster-RCNN能较好识别实验结果总结研究背景基本模型介绍参考文献仿真结果实验结果（大量分立目标）稀疏的交通流实验结果总结研究背景基本模型介绍参考文献仿真结果实验结果（大量目标+重度overlap）最接近真实的交通流发现Faster-RCNN对于处理大量overlap的情况有局限性（也受训练集影响）实验结果总结研究背景基本模型介绍参考文献仿真结果正确率统计不同迭代次数下的正确率与2007及20121st结果对比训练集样本越多，训练次数越多，正确率越高相比2007best，Faster-RCNN有较为突出的改进；效果接近2015best实验结果总结研究背景基本模型介绍参考文献物体数量较少时，Faster-RCNN检测效果较好，且对overlap较为鲁棒物体数量较多时，Faster-RCNN容易受overlap影响Faster-RCNN在不同数据集上泛化能力较好实验结果总结仿真结果针对RCNN，RegionProposal以及SVM分类耗时过大的问题，FastRCNN使用了End-To-End的训练方式。但是FastRCNN还是使用SelectiveSearch算法，依旧费时。目标检测的四个基本步骤（候选区域生成，特征提取，分类，位置精修）被统一到一个深度网络框架之内模型梳理实验总结研究背景基本模型介绍总结分析仿真结果参考文献•[1]R.Girshick,J.Donahue,T.Darrell,andJ.Malik,“Richfeaturehierarchiesforaccurateobjectdetectionandsemanticsegmentation,”Proc.IEEEComput.Soc.Conf.Comput.Vis.PatternRecognit.,pp.580–587,2014.•[2]S.Ren,K.He,R.Girshick,andJ.Sun,“FasterR-CNN:TowardsReal-TimeObjectDetectionwithRegionProposalNetworks,”IEEETrans.PatternAnal.Mach.Intell.,vol.39,no.6,pp.1137–1149,2017•[3]R.Girshick,“FastR-CNN,”Proc.IEEEInt.Conf.Comput.Vis.,vol.2015InternationalConferenceonComputerVision,ICCV2015,pp.1440–1448,2015.谢谢聆听