现代检测技术5--基于机器视觉的测控技

第5章基于机器视觉的测控技术主要内容机器视觉测控系统数字图像处理图像融合技术典型应用HALCON简介介绍机器视觉测控系统、数字图像处理方法以及图像信息融合术，简要介绍应用作者研制的ZM-VS1300视觉智能测控系统平台研制开发自己专用视觉测控系统方案，最后给出了作者研制的机器视觉测控系统典型应用案例。第5章基于机器视觉的测控技术第5章基于机器视觉的测控技术5.1机器视觉测控系统本节从机器视觉测控系统的基本概念出发，综合机器视觉测控系统原理、技术和应用进行介绍。典型的视觉检测系统的构成：概念：机器视觉测控就是将被测对象的视觉图像信息检测传递给图像处理装置，图像处理装置经过一系列处理后给出决策结果，根据决策结果实施对测控系统的相应控制。应用：广泛应用于有形物体的检测、识别和跟踪。如工业产品的尺寸测量、缺陷识别、分类判定等；微电子器件的焊点自动检测；软质、易脆零部件的检验；各种模具二维形状检测；大型工具三维自动检测等。原理：机器视觉测控系统一般由获取图像信息的图像测量系统、决策分类或跟踪对象的控制系统组成。可分为图像获取和图像处理两大部分。获取被测场景中的图像信息设备称为观测系统，包括照相机和摄像系统。获取的信息可是是静态的，也可以是动态的；可以是二维的，也可以是三维的。决策分类或跟踪对象的控制系统根据对图像信息的分析结果进而实施一定的控制。6原理：机器视觉测控系统一般由获取图像信息的图像测量系统、决策分类或跟踪对象的控制系统组成。可分为图像获取和图像处理两大部分。获取被测场景中的图像信息设备称为观测系统，包括照相机和摄像系统。获取的信息可是是静态的，也可以是动态的；可以是二维的，也可以是三维的。决策分类或跟踪对象的控制系统根据对图像信息的分析结果进而实施一定的控制。5.1.1机器视觉检测系统硬件光源照度要适中亮度要均匀亮度要稳定不应产生阴影照度可调5.1.1机器视觉检测系统硬件在视觉检测系统中，视觉传感器对光线的依赖性很大，照明条件的好坏将直接影响成像的清晰度，细节分辨率和图像的对比等。因此，照明光源的正确设计与选择是是视觉检测成功的关键5.1.1机器视觉检测系统硬件根据具体应用选择光源：1）通过检测被测物体的像来测量被检测物体的某些特征参数——选用白炽灯或卤钨灯；2）通过测量被检测物体的空间频谱分布来确定被检测物体的某些特征参数——选用激光照明。5.1.1机器视觉检测系统硬件光源的照明方式：1）漫反射照明适合于照射表面光滑、形状规则的物体。2）投射照明也称为背光照明，适合于不透光物体照明，可以形成一幅黑白灰度图像，用于物体轮廓识别与定位。5.1.1机器视觉检测系统硬件光源的照明方式：3）结构光照明结构光指几何形状已知的光束，通过结构光投影模式的变化可以检测物体的二维、三维几何特征。4）定向照明方式如果物体表面光滑且无缺陷，则定向平行光束将会被有规律地反射；若物体表面粗糙或存在缺陷，则会造成投射光的散射。根据反射光的变化检测物体表面的粗糙度或表面缺陷。5.1.1机器视觉检测系统硬件图像传感器CCD电荷耦合器件摄像机（ChargeCoupledDevice）:感光像元在接收输入光后，产生电荷转移，形成输出电压。分为线阵和面阵两种。性价比高，受到广泛应用。CMOS摄像机（ComplementaryMetalOxideSemiconductor）:体积小、耗电少、价格低，在光学分辨率、感光度、信噪比和高速成像等已超过CCD。5.1.1机器视觉检测系统硬件图像传感器其他：飞点扫描器（FlyingPointScanner）、扫描鼓、扫描仪、显微光密度计等。遥感图像获取设备：光学摄影：摄像机、多光谱摄像机等；红外摄影：红外辐射计、红外摄像仪、多通道红外扫描仪等；5.1.1机器视觉检测系统硬件图像采集卡:将视频图像以模拟电信号方式输出标准视频信号：黑白视频（RS-170、RS-330、RS-343、CCIR）、复合视频（NTSC、PALSECAM制式）、分量模拟视频、S-Video等。非标准视频信号：非标准RGB信号、线扫描信号、逐行扫描信号。5.1.1机器视觉检测系统硬件（3）图像采集卡采用非标准视频信号通常是为了获得更高分辨率、高刷新率的图像或其他特殊要求。如X光机、超声波等医疗影像设备。5.1.1机器视觉检测系统硬件（3）图像采集卡性能指标要求：多路视频输入；通过标准总线输出至计算机；实时多屏显示；自定义采集方式及采集窗口大小；实时采集单场、单帧、任意间隔及连续帧；视频输入（PAL、S-Video）；分辨率；采样位数；亮度、对比度、色度、饱和度；即插即用；稳定接收视频信号。5.1.1机器视觉检测系统硬件图像采集卡的设计①基于PCI总线的图像采集卡的设计5.1.1机器视觉检测系统硬件②基于USB总线的图像采集卡的设计5.1.1机器视觉检测系统硬件（4）图像存储设备用于暂时或永久存储摄像系统获取的数字图像。包括硬盘、光盘、磁带机、闪存等。硬盘存储技术发展很快，大图像存储可使用磁盘阵列；光盘也可满足大容量存储；磁带机顺序存储；闪存发展最快，成为数码相机、PDA、MP3/4等的首选。5.1.1机器视觉检测系统硬件（5）计算机主机计算机用于对数字图像进行管理、分析和处理，是机器视觉检测系统应用的主要工作和核心。可以是PC或工作站。需要高速实时处理的图像主板上装有图像处理器、图像加速器、DSP处理器等5.1.2机器视觉检测系统软件近年来，机器视觉工作者在研究视觉测控系统硬件的同时，也对机器视觉检测处理的共性软件进行了研究开发，出现了很多机器视觉测控系统组态软件平台，如最具代表性的机器视觉软件HALCON。5.1.2机器视觉检测系统软件德国MVtec公司的HALCON是世界范围内广泛使用的机器视觉软件，拥有满足用户各类视觉应用需求的完善开发库。支持Linux和Windows，可通过C、C++、C#、VB、Delphi开发。5.1.3视觉检测系统应用缺陷检测尺寸测量PCB焊点检测与分类5.1.3视觉检测系统应用5.1.3视觉检测系统应用5.1.3视觉检测系统应用5.1.3视觉检测系统应用5.2数字图像处理数字图像处理技术是一门跨学科的前沿高科技，是在信号处理、计算机科学、自动控制理论及其他应用领域基础上发展起来的边缘学科，是认识世界、改造世界的重要手段。目前图像处理与识别技术已应用于许多领域，成为21世纪信息时代的一门重要的高新科学技术。5.2.1平滑和滤波邻域平均SyxnmfMyxg,,1,一般实际情况中，考虑到运算的计算量，为3×3的模板5.2.1平滑和滤波中值滤波法将模板在图中漫游，并将模板中心与图中某个像素位置重合；读取模板下各对应像素的灰度值；将这些灰度值从小到大排成1列；找出这些值里排在中间的1个；将这个中间值赋给对应模板中心位置的像素。空域滤波实现881100skskskR5.2.1平滑和滤波5.2.2边缘检测梯度算子实际操作中，用下面式子取代微分：TTyxyfxfGGyxf,yxfyxfyxfx,1,,1,,,yxfyxfyxfy梯度算子用标准的模板来计算梯度：（a）Roberts（b）Prewitt（c）Sobel100-101-10-10-10-1-1-10-1110010-1-1-1-10-2-112-102120010-1-2-15.2.2边缘检测拉普拉斯算子对一个连续函数，它在位置处的拉普拉斯值定义如下：22222yfxff5.2.2边缘检测拉普拉斯算子计算函数的拉普拉斯值也可以借助各种模板实现，它要求模板的中心像素系数应该是正的，而对应中心像素的邻近像素的系数应是负的，且它们之和应该是零。0-1-140-10-10-1-1-18-1-1-1-1-15.2.2边缘检测Marr-Hildreth边缘检测算子2222242211rerrG5.2.2边缘检测此算子有无限长拖尾，在具体实现卷积时，应取一个N×N的窗口。同时，为了减小卷积运算的计算量，可用两个不同带宽的高斯曲面之差（DOG）来近似。Marr-Hildreth边缘检测算子2222221221212exp212exp21,yxyxDOG5.2.2边缘检测考虑到M-H算子的对称性，可采用分解的方法来提高运算速度。即把一个二维滤波器分解为独立的行、列滤波器。将方程改写为其中:y,xHy,xHG21122yhxhy,xH2112yhxhy,xH12212222121expKh2222expKh5.2.2边缘检测Canny边缘检测法Canny给出了评价边缘检测性能优劣的三个指标（1）低失误概率（2）高定位精度（3）对单一边缘仅有唯一响应设n为任意方向，Gaussian函数在这个方向上的一阶导数为：GnnGGn5.2.2边缘检测Canny边缘检测法当一个像素满足以下三个条件时，则被认为是图像的边缘点：（1）该点的边缘强度大于沿该点梯度方向的两个相邻像素的边缘强度；（2）与该点梯度方向上相邻两点的方向差小于45°；（3）以该点为中心3×3的邻域中的边缘强度极大值小于某个闭值。5.2.2边缘检测Canny边缘检测法Canny算子的算法实现（1）对要处理的图像I作高斯光滑，则新的图像为，其次对求的方向导数（2）细化M中所有的边（3）双阈值操作IGf*,)*(xxIGfyyIGf)*(5.2.2边缘检测5.2.3图像分割灰度阈值法图像阈值化处理的变换函数表达式为：阈值的选取间接阈值法多阈值法p尾法确定阈值TyxfTyxfyxg,255,0,阈值的选取间接阈值法多阈值法p尾法确定阈值最大类间方差确定阈值假定图像的灰度区间为，设以灰度k为阈值将图像分为两个区域，灰度为1~k的像素和灰度为k+1~L的像素分别属于区域A和B，则区域A和B的概率分别为：LkiiBkiiApp11,5.2.3图像分割最大类间方差确定阈值区域A和B的平均灰度为：其中为全图的平均灰度：两个区域的方差为：kiiAAkkpi11LkiiBBkkpi111BBAALiipi15.2.3图像分割2222221111,,，方差为，灰度平均值为像素数为，方差为，灰度平均值为像素数为mwtjifcmwtjifc最大类间方差确定阈值按照最大类间方差的准则：组间方差越大，则两组的差别越大。即k值越大，表明分割效果越好。从1至L改变k，并计算类间方差，使式最大的k,即是区域分割的阈值。最佳熵自动阈值法峰谷法5.2.3图像分割区域生长5.2.3图像分割在实际应用区域生长法时需要解决3个问题：①选择或确定1组能正确代表所需区域的种子像素；②确定在生长过程中能将相邻像素包括进来的准则；③制定使生长停止的条件或规则。区域生长实现步骤①对图像进行光栅扫描，求出不属于任何区域的像素。当寻找不到这样的像素时结束操作。②把这个像素灰度同其周围（4-邻域或8-邻域）不属于其他区域的像素进行比较，若灰度差值小于阈值，则合并到同一区域，并对合并的像素赋予标记。5.2.3图像分割②从新合并的像素开始，反复进行步骤②的操作。③反复进行步骤②、③的操作，直至不能再合并。④返回步骤①的操作，寻找新区域出发点的像素。10475104770155520565225641155511555115551155511555115751157711555215552255511111111111111111111111115.2.3