搜索
一种马来西亚车牌定位识别系统VelappaGANAPATHY1SchoolofEngineering,MonashUniversityMalaysia2JalanKolej,BandarSunway,PetalingJaya,SelangorMalaysiaandWenLikDennisLUI2SchoolofEngineering,MonashUniversityMalaysia2JalanKolej,BandarSunway,PetalingJaya,SelangorMalaysia摘要：在交通系统中，智能科技产品广受欢迎。这些只能系统给不仅有助于交通检测，在机动车安全，执法机关和商业应用中也大有益处。本文提出了一种适于马来西亚车辆的车牌定位和识别系统。此系统基于数字图像处理开发，且可以方便的应用于商业泊车系统并为停车服务提供文本记录，保障车库安全，并且可以预防车辆盗窃事件。本文中提出的车牌定位算法基于一个形态学和改进的霍夫变换方法处理得到，车牌识别通过使用前向传播和反向传播人造神经网络。一个复杂室外环境中捕捉到的589张图片的成功识别率为95%。关键词：车牌，霍夫变换，反向传播，定位，字符分割识别和自动改正。1.引言：通常来说，要给自动车牌定位和识别系统（ALPR）由三个模块组成；车牌定位，字符分割和光学字符识别模块（图.1）。图.1.传统ALPR系统的流程图数字图像的车牌定位一般是通过使用边缘提取，直方图分析，形态算子或霍夫变换实现。边缘提取通常比较简单和快捷。但是，对方对噪声敏感。如果车牌是由直线段组的则使用霍夫变换可以得到很好的结果。但是，需要车牌的轮廓明显。且需要很大的内存空间和相当长的运算时间。另一方面，基础的直方图处理不能处理有大量噪声和倾斜的车牌。Output(Text)InputImageCameraLicensePlateExtraction/SegmentationCharacterSegmentationOpticalCharacterRecognition最后：使用形态学方法处理不易受到噪声的影响，但是执行起来很慢。单独使用这些技术不足以满足现代系统的需求。现在，一个智能车牌定位和识别系统需要稳定的运行在复杂的背景环境和光强度变化。因此:已经提出了很多解决方案来应对这些问题。比如：Kim，S.etal[1]提出了一种基于边缘提取的在弱光环境下的车牌定位方法。它由两步组成。第一步包含对输入图像的梯度信息的相应区域进行搜索，第二步确定车牌的在候选区域的位置，并通过引用一个车牌模板调整边缘。此外，Sarfraz，M.etal[2]利用垂直边缘检测和沙特阿拉伯车牌。可以看出车牌图像拥有更多的水平线条，这种方法通过仅仅检测垂直线条而减少了计算时间。在[3]和[4]中，讨论更多的边缘提取方法。在使用形态学方法的案例中，Dubey，P.[5]修改常见的形态学方法使用试探法得到一个在复杂图像处理的更简洁的结果。相应的，Wu，C.etal[6]结合形态学算子和一个澳门车辆搜索算法映射。这个搜索映射算法通过水平和垂直映射检测车牌中的字符区域。澳门车牌风格和马来西亚的车牌风格非常相似，因此，其可以作为一个可靠的参考方案。车牌定位之后是自负分割。常见的自负分割方法是基于直方图和阈值分析。近期被提出的方法，比如Fukumi，M.etal[7]使用人工神经网络确定最有的阈值，Kahraman，F.etal[8]使用Gabor变换和向量量化方法，Song，H.etal[9]。系统的最后一个阶段是字符识别。Wu，C.etal[6]、Naito，T.etal[10]采用更易实施的模板匹配法。但是，为了处理从多种车牌中读取的各种字符，需要分割字符以进行一些处理步骤，如：归一化和倾斜矫正。这些额外的步骤被证明有效的减少了所需的计算时间。例如：Sarfraz，M.etal[2]通过在模板匹配之前进行归一化改进了模板匹配法。更先进技术包括使用神经网络[10,11]和自组织地图[12]。2.系统概述和其核心概念在此项工作中主要使用的软件是MatlabR2006a（v.7.2）。使用此软件的核心组件是图像处理工具包（IPT）和神经网络工具包。使用一个英特尔奔腾3.0GHz双核处理器和1Gb内存的计算机执行此软件，使用一个索尼DSC-P10数码相机捕捉到589张数码图像。数码图像拥有1百万像素的分辨率不使用相机的任何附加功能。刻意这样做是为了使实验结果能够验证所提算法的鲁棒性。图2.索尼DSC-P10数码相机自动车牌识别系统的历史是相当复杂的，且有很多已经被成功的应用的在商业用途。然而，在马来西亚设计一个车牌识别系统不仅需要系统处理车牌光照变化，污染，扭曲等客观环境。也需要系统处理一些非标准的马来西亚风格车牌。为了使系统在这些环境下稳定的运行，提出并开发了一个基于形态处理和改进的霍夫变换相结合的方式。通常，霍夫变换被用来定位车牌的垂直和水平边缘。这在Tran，D.D.etal[13]的工作中有清楚的说明。实验小组结合霍夫变换和用于探测封闭边缘对象轮廓的算法。此技术降低了内存空间和运算需求。然而，这不适用于马来西亚的车牌定位。这主要是由于大多数马来西亚车牌没有一个清晰的边界。且白色的字符在黑色背景上不像其他国家车牌的黄色或白色背景那样易于区分。这样，为此系统开发的车牌定位过程的核心概念仅仅基于字符特征而不是车牌的轮廓。这是因为自符是车牌上面最容易分辨的对象。接下来的部分讨论定位，自负分割和识别模块。接着，文章会在结束之前分析和讨论实验结果。3.车牌定位如前所述，车牌定位过程是一个形态学过程和改进的霍夫变化方法的结合。为了执行形态处理，通常将原始的RGB图像转换为一个灰度图转换为二进制图像会更方便。Otsu的通用阈值转换方法被用在此系统中将灰度图转换为二进制图。这项技术推荐最小化目标和背景像素的内部类型差异用来得到一个最优的阈值。这个通用阈值转换方法会将生成如图3所指的二进制图像。图3.Otsu通用阈值转换结果如图3所示，可以清楚的看到，车牌的字符已经被正确的从其背景中分离了出来。接着，在二进制图像上面执行多种形态处理和霍夫变换。在接下来的分段中讨论自动倾斜矫正和候选区域评估，从而完成车牌定位模块。形态处理形态处理的目的是去除图像中所有的无关对象并且确保车牌上的字符被完整保留。然而，为了保证算法足够完善以满足各种大小的字符，将在此图像中进行若干形态处理。这是为了保证能够为每个过程指定一个宽松的上限和有限的下线。基于已测得的对象性质，将会校对已指定的上限和下限用来决定其是否保留或从图像中移除。主要有三个形态处理过程被用于此图像。每个二进制图像的宽度，高度，和小孔的数量将被核对。超过指定上限和下限的值将从图像中移除。这个步骤在从图像中填充和清除边界对象和去除微小对象处理之后。图4清楚的阐明了这些步骤。图4.形态处理流程图改进的霍夫变换如上述所说，霍夫变换通常用于检测车牌的边缘。在此系统中，检测的重点是车牌的字符。在使用霍夫变换的大多数案例中，输入图像一般是边缘图像。案后，定位车牌的水平和垂直边框。然而，在本系统中，不需要边缘图像。相反地，霍夫变换被直接应用于经过形态处理后字符特征得到保留的图片。通常，一旦得到霍夫变换后的图像，峰值就被确BinaryImageFillImageClearBoundaryObjectsRemoveSmallObjectsWidth,HeightandHoles定了，这些峰值对应图像中直线的位置，然后和一个空的二进制图像对比（全为0）。在空图像中这些线段所对应的像素值被置为1。目标中的线段彼此交叉。最终，这会使对象的边界位置容易被找到。因此，通过检索图像中所有的交叉线段边界框的特征，得到这些线段围成的候选区域，接着被显示在原始图中。图5.说明了改进的霍夫变换处理为了确保使用这种方法能够得到一个满意的结果，指定这些参数的合理值是非常重要的，如霍夫变换中用来确定峰值的阈值，检测峰值个数和线段的最大和最小长度。图5.改进的霍夫变换的流程图如果检测到了过多的线条，则此过程将很慢。反之亦然，如果检测到的线条数目与理论值相差很大。则可能不会差生一个覆盖整个车牌的候选区域。同样的，理想的配置是从最小的线条中提取到整个车牌。需要注意的是，通常会得到不止一个候选区域。在对候选区域进行评估之前，需要执行自动倾斜校正。自动倾斜校正自动校正的主要目标是改进候选评估过程和提高字符识别模块的识别成功率。自动校正也是基于霍夫变换的。改进霍夫变换得到的最终候选区域作为此步处理的输入。图6.显示了一些包含车牌的候选区域样本。从这些样本可以看出，之后的提取被成功的执行了，但是经过第一次形态处理得到的图像总任然存在一些不需要的目标。为了去除这些目标，进行第二次形态处理，包括边框过滤，紧接着进行候选区的小目标去除和填充。值得注意的是，第二次形态处理不包括清楚便捷对象以避免字符被移除。PlottingLinesonEmptyImageDisplayonGrayscaleImageLocatingPeaksonHoughTransformAfterMorpho.Processes图6.候选区样本在使用霍夫变换实现自动校正的案例中，第二次形态处理的结果图像使用Sobel算子获得轮廓。相似的，峰值对应的直线位置在霍夫图中标示出，检测到的线条标示在轮廓图中。目标线段是最上方线段（所有字符边缘的上方）或最下方线段（所有字符边缘的下方）。这两条线段将帮助计算车牌的相对于水平轴的倾斜角。在此系统中，将最底部线段作为目标线段。同样的，对于所有的候选区域来说，最低线将被确定。为了在霍夫图中的所以的线段中找到这条线，需要建立几个标准。最低线的最明显的特征是，它的有坐标平均值-从起点到终点最大（Matlab中的图像坐标系统）。但是，可能出现这种情况，由于候选区中异物的影响目标线段可能会丢失这种特征。外物的存在主要原因是第二次形态处理失败。这样，为了控制这种情况，每条线的长度和斜度将被纳入考虑范围。成功定位最低线之后，车牌对于水平轴的角度可以使用简单的三角定理得到。图7.阐明了自动校正过程图7.自动校正处理流程图候选区判定如前文所述，改进的霍夫变换法通常会定位不止一个的候选区（图8中有说明）。为了确定包含车牌的正确的候选区需要对候选区进行判定。此判定过程有几个测试组成，这些测试检测候选区中存在车牌的可能性。只有通过所有测试的候选区才会被判定为车牌。这些测试包括：候选区的宽高比和候选区中封闭图形的个数。这个3个测试通常能够去粗大PlotandLocateBottomMostLineAutoSkewCorrectiononOriginalCandidateRegionLocatingPeaksonHoughPlotAfter2ndMorph.ProcessLocatingPeaksonHoughPlotAutoSkewCorrectiononOriginalCandidateRegionPlotandLocateBottomMostLineAfter2ndMorph.Process多数错误的候选区。但是，依然存在错误候选区没有被检测到的情况。这样，垂直映射分析作为最终的判定手段。图8.错误候选区实例垂直映射分析是基于0度拉动变换的平行光映射实施的。这个判定的关键是分析的自动化。图9和10进行车牌区域信号和错误候选区信号的对比。图9.车牌信号图10.错误候选区信号图10中的前两个简单的错误候选区可以通过一个简单的算法移除。但是，对于复杂候选区的识别需要一些更可靠的参数。每个候选区经过垂直映射分析后，通过以下算法可以确定3个不同的点:波峰，波谷和追踪点。算法如下：1）定位所有的波峰和波谷2）提取第一个波峰，pi作为参考点3）将一下波峰，pi+n作为第二个参考点（‘n’从1开始）4）确定两个参考波分之间的最小点，并将其标记为追踪点5）计算连个波分之间的波谷是否小于参考波分的30%6）如果小，将其视为追踪点，i+1并将n重置为1。如果大，将n加1并执行步骤7，如果‘i+1’等于波峰的