车牌字符分割算法研究

1绪论1.1背景介绍为了实现车牌字符识别，通常要经过车牌位置检测、车牌字符分割和字符识别三个关键步骤。车牌位置检测是根据车牌字符目标区域的特点，寻找出最符合车牌特征的区域。车牌字符分割就是在车牌图像中找出所有字符的上下左右边界，进而分割出每个车牌字符。在实际应用中，车牌字符分割的效果对车牌字符识别正确率会产生很大的影响，由于车牌图像亮度不均、尺度变化、透视失真、字符不完整等因素，使图像质量存在较大差异，进而影响图像分割的效果，因此车牌字符分割这一技术仍然具有很大的研究意义。在实际的监控场景中，车牌图像的透视失真通常是由于拍摄视角的变化或车辆位置的移动，相机光轴偏离车牌平面的法线方向造成的。由于车牌图像在整幅图像中占有较小的比例，所以车牌图像几何校正主要工作是校正车牌图像的旋转和剪切失真。旋转投影法和直线拟合法是两种主要的偏斜校正方法。旋转投影法是为了获取垂直倾斜角，即将车牌图像穷举逐个角度进行剪切变换，然后统计垂直投影数值为0的点数，得到最大值对应的角度。这种方法受背景区域的干扰比较大。另一种方法是直线拟合车牌字符的左边界点从而获得垂直倾斜角，该方法为直线拟合法。该方法并没有逐个角度对车牌图像进行剪切变换，从左边界点拟合出的直线通常不能真正用来代表车牌的垂直倾斜方向，检测出的角度存在较大误差，且字符左侧噪声对角度检测干扰太大，鲁棒性较差。因此找到一种更准确和迅速的车牌垂直倾斜矫正方法是十分重要的。通过得到最小的字符投影点坐标方差，得到另一种车牌垂直矫正方法。首先将车牌字符图像进行水平校正，根据字符的区域的上下边界，将车牌字符进行粗分割。然后将剪切变换后的字符点进行垂直偷用。当得到投影点最想左边方差时，便能导出两类剪切角闭合表达是，最后便是确定垂直投影的倾斜角并对此进行校正。投影法是目前最常用的车牌分割算法之一，其算法简单并且计算复杂度低。该方法的核心思想是将车牌图像进行水平投影和垂直投影，利用峰谷特征来定位车牌字符的上下左右边界。但是车牌的噪声、边框等因素容易影响到投影的峰谷位置，并且对于存在较严重质量退化的图像处理困难。为了进一步改善字符分割效果，通常将形态学分析、连通体分析和投影法三者相结合，并应用到车牌字符分割。Anagnostopoulos等人提出用SCW方法对车牌的图像进行分割，并通过在水平方向和垂直方向的投影曲线标准差对车牌字符进行分割。张云刚等人利用车牌的先验知识并结合Hough变换提出了一种新的车牌字符分割算法，该方法的特点是为了消除噪声的影响提出了一种全新的图像预处理方法。其主要步骤为首先进行分段，其次水平分割方法利用的是Hough变换拟合，该方法能够有效的消除上下车牌边框的影响，当图像中的车牌旋转角度较大并且存在光照不均的影响时其分割效果也都很好。然后将车牌先验知识应用于垂直投影法的字符左右边界确定中。该方法的优点是能够消除字符间隔区域和垂直边框的影响。但是车牌的噪声等干扰因素容易影响到投影的峰谷位置，并且对于存在较严重质量退化的图像处理困难。因此，通常将形态学分析、连通体分析和投影法三者相结合，并应用到车牌字符分割。Nomura等人为了处理断裂的车牌字符碎片，通过竖直投影将其检测出来并合并属于同一个字符的碎片，利用形态学粗化和细化方法将重叠和粘连的字符连通体分离。Chang等人为使车牌字符切分更有效，利用连通体的组合规则验证所有可能的字符集合，并取得了非常好的效果。近年来，更多新颖的车牌字符分割算法问世。Jiao为了验证是否得到真正的车牌把预定义的车牌格式和待选字符进行匹配，使用动态规划的方法来进一步验证匹配的效果。Fan等人以对垂直投影的水平投影分析为基础，将车牌字符分割与识别两个步骤作为一个整体的统计推断问题。能够将车牌字符的分割与识别同时进行，车牌字符的识别模块的设计性能很大程度地影响字符分割的效果。Franc和Hlavac通过隐马尔可夫链将车牌图像与相应的车牌字符分割建立起随机关系，把车牌字符分割表示为最大后验估计问题。Naito等人提出了假设检验方法，并以置信度为依据对可能的字符组合进行排队。王兴玲利用车牌规定的字符组合方式和大小比例关系，提出了基于模板匹配的最大类间方差车牌字符分割算法。并将设计的字符模板与车牌区域滑动匹配并进行分类，车牌的最佳匹配位置和字符的分割边界是通过最大类间方差的判决准则进行确定的。中国大陆的车牌有统一的制定规则，所有的车牌字符所对应的高度和宽度是相等的(可将字符“1”认为与其它字符的宽度是相同的)，并且字符的间距与字符大小比例关系是确定不变的。为此，本文以投影分析法为基础，通过设计变长模板与车牌区域滑动匹配，从而完成车牌字符分割。首先根据车牌边框和字符排列规则将车牌图像进行旋转和剪切校正。为了确定车牌图像中字符的上下边界，将车牌图像沿水平方向进行投影，利用预先设计好的不同长度方波模板对其进行匹配，根据相关系数得到最佳匹配的方波。最后，将车牌图像沿垂直方向进行投影，根据车牌字符的宽度与字符间隔长度的比例关系，设计一组长度不同的方波模板。为了获取字符的左右边界，可以将该模板与垂直投影进行匹配。该方法以车牌字符的水平和垂直投影特性为依据，可以自适应地解决光线照射不均匀、透视失真、尺度变化、以及背景干扰等问题，具有较好的稳定性，抗干扰能力较强。1.2车牌字符的格式依据国家对机动车号牌的相关规定，可以总结出车牌的特点。按照车牌颜色的特点，有白字蓝底白边框、黑字黄底黑边框、红字或者黑字白底黑边框三种类型车牌。也可以从字符排列角度进行分类，包括但单行七字符的车牌和上下两行字符车牌。为了对车牌照进行识别，研究人员总结出车牌识别的先验知识，包括车牌的尺寸、字符大小、结构特征等。车牌样本图像如图1-1所示图1-1车牌样本图像车牌照的先验知识具有如下内容：（1）车牌是一个高度为409mm，宽度为90mm的长方形，其高宽比例为4.45:1。（2）车牌字符的高度为90mm，宽度为45mm，宽高比为2:1。（3）车牌的边框宽度为1.5mm，字符间隙是12mm。车牌边框线的宽度和字符家具之比是1:8。（4）车牌第二个字符和第三个字符间有一个“”，其它字符之间的宽度和字符宽度比为10mm:45mm＝1:4.5，若删除“”的话，车牌第二个和第三个字符间距和其它字符间距比为34mm:12mm＝2.83:1；（5）车牌字符之间中心距离的长度为51mm，高度为90mm，其比例是1:1.76；（6）车牌的字符和背景具有较大的对比度，车牌区域是纵向小边缘密集区域。（7）车牌区域有五种固定的颜色搭配，包括红黑、蓝白、白黑、红白、黄黑。在车牌照的连通体分析，投影方波模板设计都需要以车牌照的先验知识为依据，真正对字符分割算法设计起作用的是参数的设置，这个过程是整个算法设计的难点。在实际的车牌字符识别过程中用到的车牌先验知识和实验结果如下：（1）车牌字符高度和宽度之比在1~3之间(字符“1”的高度和宽度之比在3~10之外)。（2）对于车辆照片，字符像素的聚类面积的取值范围是10~5000。字符的高度范围和宽度范围分别是10~200之间和5~100之间。（3）由实验结果可得，包围单个车牌字符的最小矩形中，字符像素所占矩形面积的比例大于10%。（4）实验结果表明，包围单个车牌字符的最小凸边形中，车牌字符像素所占的凸多边形面积的比例大于10%。（5）车牌区域的总体像素聚类面积，大于数值50。（6）车牌垂直投影分布具有脉冲波分布特性：其中占空比例关系满足region:gap:key=45:12:34。1.3匹配滤波在数字通信系统中，为了增强有用信号)(ts，同时抑制噪声信号)(tn可以通过设计滤波器来实现。当混有噪声的信号进入滤波器时，能够使信号分量在某一瞬间出现峰值，同时抑制噪声成分。当信号)(ts在某段时刻存在时，在相应的瞬间滤波器的输出会呈现出强大的峰值，如果信号)(ts不存在，那么峰值将不会出现。利用这种滤波器能使判断脉冲)(ts有无出错的概率最低。我们将具备这种功能的滤波器称为“匹配滤波器”。当信号)(ts的特性与设计滤波器的性能取得某种一致时，输出端信号功率与噪声功率之比最大时，这便称之为匹配。在实际应用中，匹配滤波器通常是根据信号的特性来设计的。匹配滤波器能够有用信号分量增强同时使噪声分量减弱，使得在某一瞬间滤波器的输出端信号幅度与噪声幅度之比达到最大。依据车牌照的先验知识，能够得到车牌的投影分布，即输入信号具有脉冲波分布特性。我们可以依据这个特点，设计一组方波模板当做系统函数，对车牌投影进行匹配滤波处理，便能够得到车牌字符的边界参数。1.4本文内容论文一共分为三章，每一章的主要内容如下：第一章是绪论。介绍了车牌字符分割研究的背景，以及车牌的字符格式。还补充了匹配滤波器的相关知识，最后初步介绍了本文的内容。第二章是车牌图像预处理。共包括车牌图像几何校正、灰度化、图像增强、二值化四部分，此部分工作的目的是为了得到质量改善的、便于字符分割的车牌图像。第三章是车牌字符分割。分别介绍了水平投影的方波匹配和垂直投影的方波匹配，并展示了最终的字符分割效果。最后是结论。将本文对车牌图像所做的工作进行了总结。2车牌图像预处理2.1本章引言在实际的车牌识别系统中，图像通常由CCD摄像机获得，由于光线明暗，拍摄角度等因素的影响，所获得车牌图像质量差异较大，存在图像模糊，目标与背景对比度低，车牌旋转和剪切失真等现象等现象，不利于后续车牌字符定位和识别工作。因此有必要对车牌图像进行几何校正、图像灰度化、图像增强和图像二值化等预处理，从而改善图像的质量，提高车牌字符分割的效率与准确率。2.2车牌图像的几何校正在车辆监控场景中，相机光轴与车牌的法线方向发生偏离，通常是由车辆的位置和拍摄角度发生变化，进而在车牌图像中引入透视失真。由于车牌图像在整幅图像中占有较小的比例，透视失真程度较弱，车牌字符的尺寸参数变化较小，对字符分割效果的影响可以忽略。所以，车牌图像进行几何校最主要工作是将车牌的旋转和剪切失真。图像的旋转角度可以依据车牌区域存在的较长边框来确定，在实际环境中，锈迹和污迹会对车牌边框产生影响，同时边框也可能发生形变，从而导致车牌边框缺失或者断裂，从而对旋转校正的精度产生影响。另外车牌字符边缘特征丰富，为旋转角度的求解提供了重要的依据。为了使估计旋转角度的方法对各种质量的车牌图像具有普遍适用性，本文以字符的边缘特征和车牌边框为依据，提出了一种边缘投影差分的方法。首先将车牌图像在一定角度范围内旋转，利用Canny边缘检测对每幅图像进行处理。用(,;)eij表示旋转角度为时得到的边缘图像，对其沿水平方向计算差分绝对值，并进行求和可得：(;)(,;)(,1;)jyieijeij(2-1)用1()M和2()M分别表示(;)yi沿行方向差分的最大值和最小值，即：12()max[(;)(1;)]()min[(;)(1;)]iiMyiyiMyiyi对于车牌边框破损严重的情况，该投影在行方向的差分数据在车牌字符的上下边界位置有比较大的峰值或谷值，因此，求解车牌旋转角度的目标函数可以表示为：12argmax()()MM(2-2)该旋转校正方法能够消除车牌边框质量退化的影响，具有精度高和适应范围宽等特点。图2-1(a)的车牌边框存在锈迹腐蚀严重，图2-1(b)是对应的Canny边缘结果，图2-1(c)是旋转校正后的图像，其中所有字符都保持水平方向，表明该方法能够求解精确的旋转角度。(a)车牌图像(b)边缘检测(c)旋转校正图像(d)剪切校正图像图2-1车牌图像的旋转和剪切校正边缘图像具有平缓的竖直投影曲线通常情况下是由车牌图像存在一定程度失真造成的。为此，本文在一定剪切角度的范围内，计算边缘图像在竖直方向上投影的方差，并利用其峰值位置估计剪切角度。图2-1(c)中的车牌图像经过剪切校正后的结果如图2-1(d)所示。可以看出，本文的旋转和剪切校正方法能够有效地恢复出车牌图像的正面平行视图。2.3车牌图像灰度化“真彩色”是RGB颜色的另一种叫法。RGB颜色空间将红、绿、蓝三种基本