搜索
数字图像处理综合实验报告车牌识别技术（LPR）组长：__******_____组员：____******_____******__________*******___指导老师：___*******_____*****学院****学院2010年6月10日实验五车牌识别技术（LPR）评定类别自评互评教师评价总评分数优优成员（按完成量排序）******************完成情况编程、ppt、报告编程、报告ppt收集材料一、实验目的1、了解车牌识别系统的实现，及车牌识别系统的应用；2、了解并掌握车牌识别系统如何实现。二、实验内容1、车牌识别系统的图像预处理、2、车牌定位、3、字符分割4、字符识别三、实验原理车辆牌照识别（LPR）系统是一个专用的计算机视觉系统，它能够自动地摄取车辆图像和识别车牌号码，可应用在公路自动收费、停车场管理、失窃车辆侦察、门卫系统、智能交通系统等不同场合。LPR系统的广泛应用将有助于加快我国交通管理自动化的进程。1、预处理摄像时的光照条件，牌照的整洁程度，摄像机的状态（焦距，角度和镜头的光学畸变），以及车速的不稳定等因素都会不同程度的影响图像效果，出现图像模糊，歪斜或缺损，车牌字符边界模糊不清，细节不清，笔画断开，粗细不均等现象，从而影响车牌区域的分割与字符识别的工作，所以识别之前要进行预处理。预处理的包括：1）消除模糊——用逆滤波处理消除匀速运动造成的图像运动模糊2）图像去噪。通常得到的汽车图像会有一些污点，椒盐噪声，应用中值滤波3）图像增强自然光照度的昼夜变化会引起图像对比度的不足，所以必须图像增强，可以采用灰度拉伸，直方图均衡等通过以上处理，提高了图像的质量，强化了图像区域。2、车牌定位自然环境下，汽车图像背景复杂、光照不均匀，如何在自然背景中准确地确定牌照区域是整个识别过程的关键。首先对采集到的视频图像进行大范围相关搜索，找到符合汽车牌照特征的若干区域作为候选区，然后对这些侯选区域做进一步分析、评判，最后选定一个最佳的区域作为牌照区域，并将其从图象中分割出来。•图像的灰度化•图像灰度拉伸•对图像进行边缘检测采用Sobel算子经行边缘检测该算子包含两组3*3的矩阵，分别为横向及纵向，将之与图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值。如果以A代表原始图像，Gx及Gy分别代表经横向及纵向边缘检测的图像，其公式如下:AGx*]101202101andA*121000121Gy图像的每一个像素的横向及纵向梯度近似值可用以下的公式结合，来计算梯度的大小。2y2xGGG然后可用以下公式计算梯度方向。xyGGarctan在以上例子中，如果以上的角度等于零，即代表图像该处拥有纵向边缘，左方较右方暗。•对其进行二值化•纹理分析法行扫描行法是利用了车牌的连续特性。车牌区域有连续7个字符，而且字符与字符之间的距离在一定范围内。定义从目标到背景或者从背景到目标为一个跳变。牌照区域相对于其它非车牌区域跳变多，而且间距在定范围内和跳变次数大于一定次数，并且连续满足上述要求的行要达到一定的数目。从下到上的顺序扫描，对图像的每一行进行从左向右的扫描，碰到跳变点记录下当前位置，如果某行连续20个跳变点以上，并且前一个跳变点和后一个跳变点的距离在30个像素内，就记录下起始点和终止点位置，如果连续有10行以上这样的跳变点，我们就认为该区域就是车牌预选区域。3、字符分割：完成牌照区域的定位后，再将牌照区域分割成单个字符，然后进行识别。字符分割一般采用垂直投影法。由于字符在垂直方向上的投影必然在字符间或字符内的间隙处取得局部最小值的附近，并且这个位置应满足牌照的字符书写格式、字符、尺寸限制和一些其他条件。利用垂直投影法对复杂环境下的汽车图像中的字符分割有较好的效果。•车牌区域灰度二值化•确定字符上下边框和去除铆钉和车牌垂直投影字符分割难点由于铆钉和周围其它干扰像素的原因，使得垂直投影中，铆钉会对图像的分割起干扰作用，所以要先去除铆钉和确定字符上下界。方法：将图片看成是一个平面。将图片向水平方向投影，这样有字的地方的投影值就高，没字的地方投影得到的值就低。这样会得到一根曲线，像一个又一个山头。下面是我手画示意图：然后，用一根扫描线（上图中的S）从下向上扫描。这个扫描线会与图中曲线存在交点，这些交点会将山头分割成一个又一个区域。车牌图片一般是7个字符，因此，当扫描线将山头分割成七个区域时停止。然后根据这七个区域向水平线的投影的坐标就可以将图片中的七个字符分割出来。•字符大小归一化外形归一化：将文字的外边框按比例线性放大或缩小成为规定尺寸的文字图像简单的采用图像的放大和缩小算法，实现所有字符的同大小，为下一步识别做好准备。4、字符识别：字符识别方法目前主要有基于模板匹配算法和基于人工神经网络算法。我们选用基于模板匹配算法首先将分割后的字符二值化,并将其尺寸大小缩放为字符数据库中模板的大小，然后与所有的模板进行匹配，最后选最佳匹配作为结果。用采集到的20多幅汽车图片作为实验样本数据，用纯软件的方法实现了车牌字符的自动识别，达到了较高的识别率。四、详细设计与实现车牌图片预处理车牌定位分割字符分割字符识别输出结果1、预处理1）灰度化主要流程图2)高斯滤波主要流程图2、车牌定位1）Sobel边缘检测主要流程图图片信息采集Sobel算子的加权微分处理（包括水平X方向和垂直Y方向）进行边界点增强，并确定其方向保存sobel处理后的图片并输出显示图像的采集循环扫描并按公式得灰度输出灰度图像开始领域5*5循环y，nHeight循环x，nWidth高斯滤波算法2）车牌粗略定位主要流程图3、车牌分割1）车牌人工矫正主要流程图边缘检测完后的具有车牌图像对图片从头扫描到底，对符合规律跳变的点存入数组countMatch，也记入行列数至数组mark对数组countMatch进行去噪，除去不符合连续跳变的地方和上半部分面积对数组countMatch进行2*6的粗定位通过处理定位车牌四边，并在图上做出标记分割出车牌区域并显示车牌图片输入获取输入的角度量根据原始图像，循环逐点获取变换后的点输出变换后的图片2）车牌精确分割主要流程图3）字符模板归一并储存主要流程图4、简易字符识别主要流程图矫正后的车牌图片输入在确定上下界范围中循环取得垂直的白点个数循环取得水平的白点个数依据连续原则判断出精确车牌的上下界循环从下界取值，到一定值时出现7段低于阈值时，按一定原则分割确定字符在车牌图片加辅助线，分割字符，依次存储并显示由上一步处理得字符进行归一化逐个储存归一化图片调用字符图片，使得成为模板获取分割后的字符图片通过车牌字符的特点，逐一进行模板匹配，相减后差值最小的则取出相对应的字符存在数组中将存储在数组中的字符显示出来，完成识别五、实验结果与分析对十几张图片进行车牌识别，将其中IMAG00291.bmp作为例子，分析其结果。5.1.1打开图片5.1.2图像的灰度化彩色图像包含着大量的颜色信息，不但在存储上开销很大，而且在处理上也会降低系统的执行速度，因此在对图像进行识别等处理中经常将彩色图像转变为灰度图像，以加快处理速度。由彩色转换为灰度的过程叫做灰度化处理。选择的标准是经过灰度变换后，像素的动态范围增加，图像的对比度扩展，使图像变得更加清晰、细腻、容易识别。5.1.3图像的高斯滤波图5.1原始图像图5.2灰度化后图像图5.3高斯滤波后图像高斯滤波对随机噪声和高斯噪声（尤其是服从正态分布的噪声）的去除效果都比较好，能够有效除去采集过来时图片的随机噪声。5.2.1Sobel边缘检测Sobel算子根据像素点上下、左右邻点灰度加权差，在边缘处达到极值这一现象检测边缘。对噪声具有平滑作用，提供较为精确地边缘方向信息，边缘定位精度不够高，但对于车牌的粗略定位还是能起作用的，效果比较好，尤其是对高斯滤波过后的图片。5.2.2车牌定位分割车牌定位采用纹理跳变法实现的，在算法中采用了2*6的粗定位，最后效果虽然不太好，但是能准确地将车牌区域定位并分割出来。5.3.1车牌人工矫正由于车牌图像不是水平的，对分割和识别会产生影响，需要人工对其矫正，经实验得，这幅图像需矫正-1°。实验结果见图5.7图5.4Sobel边缘检测后图像图5.5车牌定位后图像标记结果图5.6根据图5.5在原图片截取的车牌图像图5.7已矫正了-1°的车牌图像5.3.2车牌的灰度化和二值化此处车牌图片的二值化采用的是比较流行的自适应阈值二值化，它根据车牌字符和车牌背景的区分，能有效地将字符突出出来，对车牌的分割有着明显的好处。5.3.3车牌字符的分割对预处理过后的车牌图像进行精确定位，并依据竖直方向从下到上扫描出6个大的间隙，再根据字符的宽度特点，确定其字符位置，并将已预处理过后相应的字符归一化后后台保存起来，为下一步车牌识别准备。5.4简易车牌识别运行该程序后，会将上一步存储的字符与已存好的模板进行匹配，根据其像素点的相同点数和白点的个数作为依据，其效果并不理想，但由于该字符刚好分割出来作为原模板，所以能很好的识别出来，该识别功能并不完美，但能够针对一小部分车牌图像进行很好的识别。表5-1车牌定位车牌分割车牌识别车牌识别2字以内错测试图片数目16151515正确图片张数151557正确率93.8%100%33.3%46.7%分析：该程序的车牌预处理的效果比较好，使得经过sobel边缘检测后，车牌的定位能够准确地定位出来，其正确率经过实验所得，几乎达到94%；但由于是粗略定位，会对车牌字符分割带来一定影响，在字符分割这一块采用了一种自适应分割法，它相对于纯粹的垂直投影法有着明显的优势，尤其是对于粗定位的车牌图片，采用这种分割方法，其效果较为理想，对于矫正过后的图片，其达到了几乎100%的正确率；最后的车牌识别采用的是模板匹图5.8已灰度化的车牌图像图5.9已二值化的车牌图像图5.10车牌字符指示图像图5.11完成车牌字符分割后的图像图5.12车牌识别效果图配，利用分割出来的字符图片作为模板，再对其匹配，其效果较差，若该字符刚好是模板，则其能识别出来，若不是，则其正确率较低，最终识别率仅为33.3%，两个字内错的也仅为46.7%。在车牌识别的过程中数字库的建立很重要,只有数字库的准确才能保证检测出来的数据正确。切割出来的数据要与数据库的数据作比较，所以数据库的数据尤为重要。将A误识别为4了，在识别中还可能出错的有0和D、5和8、1和I等，因此需要在其他方面做些弥补。六、小结实验对车牌识别系统的软件部分进行了研究，分别从图像预处理、车牌定位、字符分割以及字符识别等方面进行了系统的分析。在车牌定位我们采用基于灰度跳变的定位方法，采用先对图像进行预处理，再进行边缘检测操作的方法。实验表明本方法既保留了车牌区域的信息，又减少了噪声的干扰，从而简化了二值化处理过程，提高了后续处理的速度。实验表明，用该方法实现的车牌定位准确率较高。本设计用C#编程运行结果可以得出，本设计采用的图像预处理、sobel边缘检测、灰度跳变等对车牌的定位都是非常有效的，而本设计采用的水平投影分析和自适应阈值二值化技术有效检测了车牌图像的上下左右边框，采用人工旋转角度，准确实现的车牌字符的分割，对多个车牌进行实验，均有很高的正确率。本设计虽然车牌的识别部分不是很好，但最终能够实现该功能已很满足了。