香港车牌识别算法

香港车牌识别算法赵永辉刘长松(清华大学电子工程系智能技术与系统国家重点实验室，北京100084)摘要：本文提出一个香港车牌识别算法。针对香港车牌格式比较自由的特点，算法中通过合并连通域进行车牌定位，通过搜索连通域的所有可能组合进行车牌切分。采用彩色图像游程邻接算法CRAG（colorrun-lengthadjacencygraphalgorithm）对彩色图像搜索连通域，使得时间性能大大提高。通过实验表明，本算法在图像测试集的平均识别率达到95%以上。关键词：香港车牌；连通域；CRAG算法；组合；HongKongLicensePlateRecognitionAlgorithmZHAOYong-huiLIUChang-songStateKeyLaboratoryofIntelligentTechnologyandSystemsDept.ofElectronicEngineering,TsinghuaUniversity,Beijing100084ChinaAbstract:AHongKonglicenseplaterecognitionalgorithmisproposed.HongKonglicenseplateshavenofixedformats.Aimingatthispoint,thealgorithmdetermineslicenseplatelocationbycombiningconnectedcomponentsandsegmentslicenseplatebysearchingallpossiblecombinationofconnectedcomponents.Searchingconnectedcomponentsincolorimageisimplementedbycolorrun-lengthadjacencygraphalgorithm(CRAG).Asaresult,timeperformanceisgreatimproved.Anexperimentshowsthattheaveragecorrectrateofthealgorithmisabove95%.Keywords:HongKonglicenseplate;connectedcomponents;CRAGalgorithm;combination;1引言在我国车牌识别应用已经越来越成熟和普遍，随着我国大陆地区与香港地区经贸关系的日益密切，香港车牌的识别问题也开始变得重要，尤其是对于海关的通关车辆管理。作为海关中智能交通系统的重要组成部分，香港车牌识别系统可以大大提高香港车辆在大陆关口的过关速度。香港车牌和大陆的车牌最大不同是香港车牌字符排列格式比较自由。同一种格式的车牌各字符间的相对位置分布不一定相同，因此针对大陆车牌识别的许多算法不能有效处理香港车牌，例如香港车牌的字符切分不能采用我们识别大陆车牌提出的模版匹配算法[1]。本文提出了一种基于连通域合并和连通域组合搜索的香港车牌识别算法。车牌的定位是基于连通域的合并。车牌的字符切分是基于对连通域组合的搜索。2香港车牌识别算法流程车牌的尺寸是整个识别系统中一个非常重要的特征。但是，在实际应用中系统得到的输入图像中的车牌尺寸变化很大。传统的车牌识别结构难以适应这种变化，导致识别率的降低。在不同分辨率下对图像进行串行处理可以很好的解决这一问题。本文提出的算法中的串行流程是首先对原图进行识别，如果没有识别结果产生，则将原图宽度和高度各降采样一倍，然后在此图上进行识别。香港车牌的特点：字符颜色一致，背景颜色单一。香港车牌格式主要有4种：六字符单排，六字符双排，五字符单排，五字符双排。如图1所示。a)六字符单排b)六字符双排c)五字符单排d)五字符双排图1香港车牌的格式由于香港车牌的字符切分算法是基于对连通域组合搜索的，所以六字符的车牌容易被误切分为五字符，而五字符的车牌很难被误切分成六字符，而且即使被误切分为六字符后识别结果的置信度也较低。因此车牌的切分采用是串行切分，首先进行六字符切分，如果识别结果可信，则结束，否则进行五字符切分。图2是算法流程。从中可以看出，香港车牌识别算法主要由车牌定位，车牌切分和字符识别三部分组成。输入图像车牌定位六字符切分字符识别结果可信输出结果五字符切分字符识别结果可信据识输出结果NYNY图2算法流程3基于连通域合并的车牌定位算法目前车牌定位的主要方法有：1.基于边缘信息[2]2.基于颜色信息[3]3.基于灰度方差信息[4]。方法(1)定位准确,但是漏检率高，速度慢。方法(2)定位较准确,缺点是受车牌本身颜色变化影响大，且容易引入和车牌颜色相似的区域干扰。方法(3)速度快，漏检率低，但定位准确性较差容易引入车灯和背景文字等干扰。车牌定位是通过合并连通域实现的，即把彩色图像中可能为字符连通域的连通域横向和纵向合并起来，合并后的区域范围就是车牌位置。根据系统允许检测到的车牌最大宽度MaxPlateWidth，以及由于识别效果要求允许检测到的车牌最小宽度MinPlateWidth可以估算出车牌中的字符最大宽度MaxWidth，最小宽度MinWidth以及最大高度MaxHeight，最小高度MinHeight。传统搜索连通域的方法是通过宽度优先搜索或者深度优先搜索算法进行的。这两种算法本质上都是递归算法，效率比较低。我们采用的搜索算法是彩色图像的区域生长算法[5]：CRAG算法(ColorRun-lengthdjacencyGraph)，该算法充分利用了字符颜色和位置信息。该算法主要步骤是：把每一行内颜色相近的邻接像素合并成游程，然后对邻接且颜色相近的游程进行合并。这样最终的连通域不仅有位置信息还有颜色信息。由于游程个数相对像素个数的稀少性，因此该连通域搜索算法的时间效率很高。搜索连通域后，对连通域的大小进行筛选。如果某个连通域的宽度不在,MinWidthMaxWidth之间或者高度不在,MinHeightMaxHeight之间，那么将该连通域删除。对余下的区域进行水平合并，水平合并依据的主要标准是近邻连接强度I[1]。1212min(,)VHoverlapdisIhhww(1)其中Voverlap是表示两个区域的竖直重合高度，Hdis表示水平距离；1h，2h，1w，2w分别表示两个区域的高度和宽度。如果两个区域的颜色相近且I超过一定域值，那么这两个区域满足合并条件。对所有区域循环合并直至任意两个区域都不满足合并条件，每次合并后的区域作为一个新的区域并且删除原来的两个区域。香港车牌的格式可能是双排，因此对水平合并后的区域进行垂直合并。合并依据的主要标准也是近邻连接强度I，不过I定义不同。1212min(,)VHdisoverlapIwwhh(2)其中Hoverlap是表示两个区域的水平合宽度，Vdis表示垂直距离。合并的过程与水平合并的过程相同。垂直合并后的区域就是车牌的候选区域了。把候选区域宽度不在,MinPlateWidthMaxPlateWidth删除掉。候选区中包含的连通域个数越接近5.5，也就是这个候选区可能包含的字符个数越接近5.5，是车牌区域的可能性越大，因为香港车牌中字符是5个或者6个。最多取可能性较大的3个候选区作为定位结果输出。对输出的定位结果进行串行的切分识别，如果有结果输出就停止。4基于对连通域组合搜索的车牌切分算法由于车牌定位是通过合并字符的连通域实现的，因此只要对这些连通域所有可能的组合进行搜索找出最合适的一组连通域作为切分结果输出即可。首先对车牌区域中的所有的连通域按照高度进行聚类，把包含连通域个数最多一类作为候选的字符连通域。然后对这些候选连通域进行排序，排序的标准：上一行的连通域排在下一行的连通域前面，同一行的连通域从左到右排列。判断两个连通域是否在同一行的标准：两个连通域的中心高度差别是否超过了两个连通域的高度中较小值的三分之二。设排序后连通域共有n个，如果5n则五字符格式的可能共有5nC种；如果6n则六字符格式的可能共有6nC种。由于n一般不会特别大，因此可以遍历所有切分可能找出一个最可能的切分结果。对每一种切分首先判断这种切分是否可能，如果可能则估计这种切分的可能性。判断一种切分是否可能的标准：1．排列格式只能是单排或者双排。2．如果排列格式是双排，那么第一排字符只能是两个。3．如果排列格式是双排，那么理论上第二排的第一个字符的横坐标不能超过第一排的第一个字符的横坐标，第二排的最后一个字符的横坐不能小于第一排的第二个字符的横坐标。衡量一种切分的可能性的标准：1.所有字符的高度越一致可能性越高。2.同一行上的所有字符中心的纵坐标越一致可能性越高。3.除了第二字符和第三字符的之间，所有相邻字符间的水平距离越一致可能性越高。以上标准都是基于样本观察得出。我们采用一个方差形式的变量Var来定量衡量切分的可能性，Var越小，可能性越大。VarVarHVarCVarD(3)VarH是字符高度的方差。VarC是字符中心纵坐标的方差（双排格式对应的是两行的方差和）。VarD是除二三字符间的相邻字符间水平距离的方差。对连通域组合的搜索采用是剪枝搜索，从排序后的第一个连通域搜索到最后一个连通域，根据当前状态判断当前连通域是否可不被选用。当搜索到第k个连通域时中设已选用的连通域个数是usedn，如果usedcharnnkn其中charn为所搜索的车牌格式中字符总数（5或者6），即已选用的连通域和剩余的连通域加起来不少于charn则此连通域可不被选用否则必须被选用。搜索后如果usedcharnn，则不需要继续搜索下去。搜索后把最可能的切分结果输入到识别引擎进行识别。5实验结果和结论测试样本集是549幅在香港沙头角采集的彩色图像，图像大小是768×576。实验结果如下：表1识别率车牌类型样本数识别正确识别率五字符单排373697.30%五字符双排948994.68%六字符单排696391.30%六字符双排34933997.13%总计54952795.99%表2错误分析错误类型错误样本数总样本数准确率定位954998.36%切分1154097.96%识别252999.62%定位错误产生的原因主要有：1．车上有类似车牌的区域，比如车上的标志，被误定位为车牌。2．车牌本身颜色被破坏，导致有些连通域颜色不接近，车牌定位不全。切分错误的原因主要有：1．字符的连通域和干扰或者其他连通域相连导致连通域的高度或宽度过大被删除，例如图3a,3b。2．个别干扰的大小和字符连通域的大小相近，被误当成字符进行切分。例如图3c,3d。a)JP6652b)JH7933c)HW217d)KL433图3切分错误图例图3a由于车牌第二排的两个字符“6”相连，该连通域的宽度过大被删除，余下只有4个字符，切分失败。图3b由于倾斜的车牌边界干扰和“7”字符相连，造成“7”的连通域的高度过大被删除，错切分成五字符的格式，被识别为“JH933”。图3c是由于干扰造成五字符格式被切分成六字符格式，被识别成“HW2171”。图3d错切分原因和图3c相同，被识别成“KL4331”。总结：由于采用CRAG算法搜索彩色图像的连通域使得系统耗时较小，有很好的实时性。系统通过合并连通域进行车牌定位，有效地避免了引入形状不规则的干扰区域。通过对连通域组合的搜索实现车牌切分，有效地解决了香港车牌格式较自由的问题。通过实验表明本算法性能较好，具有很好的实用性。参考文献[1]陈寅鹏,丁晓青.复杂车辆图像中的车牌定位与字符分割方法.红外与激光工程,2004(1),29-33.[2]KamatV,GanesanS.AnefficientimplementationoftheHoughtransformfordetectingvehiclelicenseplatesusingDSP’S[A].IEEEProceedingsofReal-TimeTechnologyandApplicationsSymposium[C].CA:ComputerSocietyPress,1995,5