表面质量检测系统

基于机器视觉技术的产品表面质量检测系统王岩松1章春娥2（1北京凌云光子集团北京1000892北京交通大学信息科学研究所北京100044）摘要：介绍了基于机器视觉技术的表面检测系统的设计方案和系统构成原理，并且针对表面检测系统中广泛应用的高精度定位配准算法以及Blob分析算法从原理上进行了阐述，同时给出了当前通用的表面检测系统的处理单元构成特点。基于本文所介绍的机器视觉技术的表面检测系统已经在工业现场得到了批量推广应用，对于以后开展类似的表面检测系统具有一定的参考价值和指导意义。关键字：机器视觉表面检测斑点分析（Blob分析）ASurfaceInspectingSystemBasedonMachineVisionTechnologyWangYansongZhangChun-eALUSTERLightTechGroupCompany，100089InstituteofInformationScience,BeijingJiaotongUniversity,Beijing,100044Abstract：Anintroductiontosomegeneraldesignschemesandconstructingprinciplesaboutsurfaceinspectingsystembasedonmachinevisiontechnology.SomealgorithmswidelyusedinsurfaceinspectingsystemsuchashighresolutionSearch-alighmentalgorithmandBlobanalysisalgorighmaredesrcibedindetailtheoretically.Theconstructingwayofprocessinguintingeneralsurfaceinspectingsystemisalsopresentedinthispaper.Uptonow,agreatdealofsurfaceinspectingsystemsbasedonthetechnologyintroducedinthispaperhavebeensuccessfullyusedinsomeindustrialfactory。KayWords:MachineVisionSurfaceInspectionBlobAnalysis1．机器视觉及系统机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统是指通过机器视觉产品，如CCD、CMOS和光电管等，将被摄取的目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，再根据判别的结果控制现场的设备。典型的工业机器视觉应用系统包括如下部分：光源，镜头，CCD照相机，图像处理单元（或图像采集卡），图像处理软件，监视器，通讯/输入输出单元等[1]。机器视觉是一项综合技术，其中包括数字图像处理技术、机械工程技术、控制技术、光源照明技术，光学成像技术、传感器技术、模拟与数字视频技术、计算机软硬件技术、人机接口技术等。其中图像处理软件中的图像处理算法是整个机器视觉的核心部分。图像处理技术包含数字图像处理学、计算机图形学中的大量内容，涉及图像分割、图像测量、图像融合、图像匹配、模式识别、计算机神经网络等大量前沿技术。图像处理算法选择的合理性、算法的适用性、算法的处理速度和处理精度等均将直接绝对最终机器视觉质量检测系统的检测结果。本文设计的表面检测系统使用了上述多项机器视觉技术，特别在图像处理方面使用了高精度子像素定位配准、斑点（Blob）分析等算法，对于提高检测准确性以及多种类产品自适应检测起到了决定性作用[2]。2．表面质量检测系统设计方案与构成检测目标光路光源吹风展平机构镜头相机图像采集单元图像处理单元计算机执行单元报警单元显示器监视器图1系统组成原理框图由于表面质量检测系统所涉及到的行业多，每个系统的设计方案都有着自己的特点，从通用型表面质量检测系统设计角度看，系统可由吹风展平机构、照明光源、CCD相机、镜头、机箱、图像采集、图像处理、控制单元、监视单元、执行机构和报警单元等组成，如图1所示。不同的系统在组成上稍有区别。图像照明光源采取了线性光源以产生照明能量集中的、光强分布均匀的一条光带；同时吹风展平机构可以使检测对象运动到CCD扫描线附近时保证不产生任何畸变；当产品高速运动时，CCD线扫描相机通过消杂光光路对当前扫描线进行逐行采集，采集到的数据送入图像采集单元进行存储。在经过图像处理单元进行复杂的表面检测运算后，如果发现表面质量缺陷，则控制报警单元进行声光报警，同时执行单元向生产线发送相应的控制指令将质量次品与好品分仓处理。监视器可以醒目的汇报缺陷产生位置、缺陷面积大小等信息，便于用于可以迅速获取信息。以印刷行业的产品表面质量检测系统为例，系统包含了图像采集卡、I/O输入输出卡、D/A转换卡，PLC控制系统等部件，以微机系统作为处理和控制的中心单元。这种组成结果可以满足大部分表面检测系统的应用需求。结构组成如图2所示。运动方向瞬间扫描线聚光镜线性光源线扫描CCD相机工业控制计算机图像采集卡I/O输入输出卡D/A转换卡检测盒印刷质量检测系统PLC控制系统产品产品图2印刷质量检测系统结构示意图3．高精度定位配准算法高精度定位配准算法在表面检测系统的机器视觉技术中占有重要的地位，是图像与标准模板进行缺陷检测的必要条件。论文中所设计的高精度定位配准算法将金字塔分层思想和互相关计算想结合，定位配准精度可以达到1/64像素。同时算法采用了MMX方式进行优化，定位时间大大缩短。该定位配准算法中的金字塔分层思想是：用不同带宽的低通滤波器对原始图像进行低通滤波，得到一组不同“分辨率”的图像；然后从最高级（最粗的“分辨率”）开始，将模板和目标图像进行匹配，将结果作为预测值，对下一级（较高的“分辨率”）的图像进行匹配，在子像素匹配时使用双线性插值算法，最后可以达到要求的定位速度和定位精度。从理论上讲，若每层的收敛范围是m个像素，则第n层的收敛范围可达到m×n个像素。在图像定位核与图像坐标中心),(00yx选取以后，根据初始定位信息可以计算得到实际图像与模板图像的夹角信息，然后将实际图像根据),(00yx进行旋转，此过程可以利用双线性插值实现。设实际图像上某一点),(yx，经过旋转以后为)','(yx，则ddyxyyxxyyyxyxxyyxxxsincossin)(cos)('sincossin)(cos)('000000（1）旋转以后两幅图像之间就只存在X方向和Y方向上的偏移差异dx和dy。定位配准算法采用分层逐步匹配方式可以得到最佳的dx和dy。分层定位配准的过程可以用图3来说明，图3示意了1/4个像素的定位精度，1个像素范围内的搜索定位过程。如图3（a）所示，首次匹配在9个点中找到相关程度最好的点，结果如图3（a）中的黑点。然后将搜索步长与搜索范围缩小一半，进行第二层搜索，此时搜索精度为1/2像素，在15个点中（最多25个点）找到相关程度最好的匹配点，如图3（b）中黑点；接下来在第三层中找到匹配最好的点，判断此时搜索精度为1/4个象素，已经达到要求的匹配精度，则搜索结束，最后定位到的匹配点为图3（c）中的黑点所示（a）表面层搜索（b）第二层搜索（c）第三层搜索图3金字塔思想的定位配准算法示意图经过大量实验数据测试，仅仅对于求定位偏移距离这一项，采用了金字塔分解及网格扩散方式与普通的全遍历方式相比，搜索区域大大减小，并且能够迅速收敛，同时还能够解决图像互相关搜索中存在的错误相关峰。设搜索步长为S，搜索范围为W，找到最佳定位匹配点需要遍历的点数为SWNSWN22221log*25)1*2()1/*2(（2）上式中第一式为全遍历公式，第二式为采用金字塔思想所需进行的遍历公式。如果两幅图像之间的搜索范围W为4个像素，定位精度要求为1／4个像素精度，则定位到最佳匹配点所需遍历点数10891N个，而1312N个，可以看到，搜索区域大大减少，而且确定搜索路径所需迭代次数仅为1log2Sn。该定位配准算法具有很好的适用性，对于图案中的一些变形和缺损的容忍性较好。可以用于表面检测的下述应用中：正常图像定位配准带噪声图像定位配准带一定旋转的图像定位配准带一定缩放比例的图像定位配准对比度不一致的图像定位配准部分缺损的图像定位配准4．Blob分析算法斑点分析算法，也称为Blob分析算法，常用于对目标图像进行图形特征提取和分类。通过在图像中寻找一个或多个相似灰度的“斑点”，并将这些“斑点”按照四邻域或者八邻域方式进行连通分析，就可以形成一个Blob单元。通过对Blob单元进行图形特征分析，可以将单纯的图案灰度信息迅速转化为图案的形状信息，包括图形质心、图形面积、图形周长、图形外接最小矩形以及其他图形信息。Blob分析算法在表面检测中扮演着重要的角色，可以将真实缺陷与虚假缺陷根据图形特征不同进行判别。Blob分析算法也可以用于颗粒计数领域中。Blob分析算法中最重要的两个步骤是Blob图像分割和Blob特征提取。4.1Blob图像分割Blob分析算法首先包含了“图像分割”步骤，只有对于目标图案的有效分割才能进行后续的相似灰度Blob分析。论文中设计的Blob分析算法在图像分割方面使用了多种方法，可以针对表面检测的各种领域进行灵活应用，包括：固定阈值分割（FixedThreshold）固定阈值分割使用单一阈值将图像分割为Blob对象和图像背景两部分。固定阈值分割对于高对比度以及背景一致性很好的图像具有较好的效果。可变阈值分割（AdaptiveThreshold）可变阈值分割方法由于采用了一些图像统计方法来预测最佳的分割阈值，因此可以适用于一些对比度和一致性较差的图像，每个像素均对应自己独立的分割阈值。这些统计方法包括：最小均值方式、最大均值方式以及均方差等统计信息等。经过选择有效的图像分割方式，满足用户检测需求的特征形成了Blob，而其他非检测目标构成了图像背景，在对于Blob进行特征提取后，可以设计对应的过滤器来“筛选”出真实的缺陷Blob。4.2Blob特征提取在经过图像分割后，图像的灰度信息经过Blob特征提取过程就可以转化为Blob信息队列。其中根据表面质量检测应用需求，针对性设置算法，可以提取更多Blob形状信息。目前Blob分析算法中所提取的典型Blob特征包括：Blob面积与外接矩形面积比例HeightWidthAreaBBoxAreaAreaioAreaBoxRat（3）Blob延伸率特征hFiberLengtAreaFiberWidthAreahPerimLengthPerimLengthFiberLengtFiberWidthhFiberLengtElongation4162（4）最小外接椭圆的长轴角度（与X轴方向夹角）22XY2YYYY21y2tan5.0iYYiXiYiXYXXYXYXXXXXYYXXXYSxSySxSAreaSSSMAreaSSMAreaSSMMMM，，，，－＝，－＝，－＝（5）除了上述典型Blob形状参数以外，本Blob分析算法还可以计算Blob形状的质心，Blob中孔洞个数，Blob周长、外接椭圆长轴和短轴、类圆度以及一些灰度特征，如最大最小灰度、灰度均值、灰度方差等。当图像灰度信息经过Blob分析算法处理后，便转化为目视更加直观的Blob形状信息，用户可以根据这些Blob特征设计组合式的多级分类器，在经过多个分类器过滤后，可以在一定程度上满足各种表面检测用户的缺陷检测需求。5．处理单元构成在表面质量检测的各种系统中，通用的处理方式都是基于PC机的检测处理系统。作为核心处理单元，计算机负责系统的全部管理动作，系统需要综合考虑与相机、采集卡、编码器、外部PLC、以及PC本