机器视觉基础

机器视觉基础知识机器视觉技术示意图触发信号获取图像图像处理输出DigitaloutputSerialoutEthernetI/PTCP/IPoutsensorPLCRobotFieldBus•成像系统相机，光学部件，光源目标–特征部分与“背景”形成高反差的图像校正&比例缩放•检测方法灰度分析（阀值）&梯度分析图像增强在视场（FOV）内定位产品零件检测分析–测量，特征点查找检测，读取等•设备通讯Pass/Fail结果状态输出检测数据分析控制输出机器视觉系统概述•基础术语•相机图像传感器灰度&彩色•光学器件(镜头)标准镜头vs.远心镜头•光源基础知识技巧机器视觉系统概述相机-Camera图像传感器-ImageSensor镜头-Lens工作距离-WorkingDistance视场（FOV）–FieldofView景深（DOF）–DepthofField分辨率-Resolution示意图•图像传感器光电探测器网格(像素阵列)转换光亮度级别成电子信号CCDvs.CMOS–转换方式不同CCD&CMOS•灰度像素深度转换光亮度级别成可测量信号级别0–255(0–黑,255–白)部分软件使用百分比表示方法(0-100%)027245230238201688947158994545212417909597543483158692999902267228992969910014611888951009498994591992949993979596232080939291969498983978959597989795971001176949710099969910096100纯白=255纯黑=0中等灰度=128灰度CCDCMOS填充因数高中等系统干扰低中等响应速度中等稍快动态范围高中等建模快，质量高差速度中等偏高较高图像质量高一般耗电性能中等稍微少于CCDCCD&CMOS分辨率焦距景深兼容芯片尺寸远心畸变镜头印刷和纸张检测镜头兼容芯片尺寸和相机芯片尺寸关系镜头•标准镜头成本较低,尺寸较小透视误差距离的改变会引起大小的改变畸变大较大的检测对象,特征点检测,测量相对差光学器件•远心镜头成本较高,体积较大无透视误差距离不改变大小畸变小较小检测对象,精准测量光学器件光学器件镜头标准镜头远心镜头光学器件印刷和纸张检测景深镜头目的将被测物体与背景尽量明显分别，获得高品质、高对比度的图像。重要性直接影响处理精度和速度，甚至系统的成败。光源•目标–高对比图像!最明显的检测特征点最不明显的“背景”和干扰•打光注意事项被检测零件的特征打光技术彩色效果光源高频荧光灯卤素灯LED灯光源光源光源卤素灯泡（英文：halogenlamp），简称为卤素泡或者卤素灯，又称为钨卤灯泡、石英灯泡，是白炽灯的一个变种。原理是在灯泡内注入碘或溴等卤素气体，在高温下，升华的钨丝与卤素进行化学作用，冷却后的钨会重新凝固在钨丝上，形成平衡的循环，避免钨丝过早断裂。因此卤素灯泡比白炽灯更长寿。卤素灯供电电压通常分为交流220V和直流12V两种。例子：氙气灯泡荧光灯，传统型荧光灯即低压汞灯，是利用低气压的汞蒸气在通电后释放紫外线，从而使荧光粉发出可见光的原理发光，因此它属于低气压弧光放电光源。LED光源的优势可制成各种形状、尺寸及各种照射角度；可根据需要制成各种颜色，并可以随时调节亮度；通过散热装置，散热效果更好，光亮度更稳定；使用寿命长（约3万小时，间断使用寿命更长）；反应快捷，可在10us或更短的时间内达到最大亮度；电源带有外触发，可以通过计算机控制，起动速度快，可以用作频闪灯；运行成本低、寿命长的LED，会在综合成本和性能方面体现出更大的优势；可根据客户的需要，进行特殊设计。光源暗视野亮视野两种常见正向打光方式光源两种常见正向打光方式暗视野亮视野光源低角度光源前向光光源照明光源背光光源照射物白色光(混合色)蓝色其它颜色被吸收光源传递反射镜面反射漫反射吸收光源被检测零件特征明视场暗视场背光结构光Dome光同轴光光源打光技术Dome光明视场光源案例白光得到各颜色单色图像RVOBYG光源彩色效果偏振用于减少闪烁塑料或者玻璃偏光镜交叉偏光镜滤光镜无滤色镜红色滤色镜绿色滤色镜滤光镜应用相机工业相机有多种类型常见的分类方式如下黑白相机和彩色相机面阵相机和线阵相机CCD相机和CMOS相机模拟相机，数字相机，智能相机相机CameraLinkUsb2.01394a1394bGigEEthernet速度Base:1.5GbpsMedium:3.8GbpsFull:5.1Gbps480Mbps400Mbps800Mbps1000Mbps100Mbps距离10m5m4.5m4.5m100m100m优势1.带宽高2.有带预处理功能的采集设备3.抗干扰能力强1.易用2.价格低3.多相机1.易用，价格低，多相机2.传输距离远，实际线缆可达到17.5m，光纤传输可达100m3.有标准DCAM协议4.CPU占用最低1.易用，价格低，多相机2.传输距离远，线缆价格低3.标准GigEVision协议1.易用，价格低2.传输距离远，线缆价格低缺点1.价格高1.无标准协议2.CPU占用高1.长距离传输线缆价格稍贵1.CPU占用高2.对主机配置要求高3.有时存在丢包现象1.无标准协议2.带宽过低3.CPU占用过高相机面阵相机芯片是M*N方式排列；线阵相机芯片是1*N方式；•系统组成–相机,光学部件,软件•最小可区别的特征大小•系统测量精度–系统精度、重复精度•影响因素分辨率–640x480…1600x1200光学部件质量软件分辨率测量–亚像素概念特征点–5x5像素区域成像系统分辨率•目标校正使用标准的圆点目标校正板镜头畸变补偿比例缩放–例如：在1英寸视场内有1000个像素=0.001”/像素重新标定变化的检测必要条件。(镜头，工作距离，光源等等)•比例缩放无变形补偿值=单位值/像素校正•图像黑白部分分割界限•自动或者固定的阀值方法0-25%0-75%灰度（阀值）•边缘检测方法•灰度值的变化率Greylevelvs.Gradient01020304050607080901002838485868PixelGreylevelel-30-20-100102030GradientnGreylevelGradient梯度分析•较少多余的干扰•提高被测的特征点或者边缘•可能占用宝贵的检测时间•方法…形态学方法改变亮度级别二值化图像增强全部或者部分图像可多重反复处理延长检测时间结果–改良后图像…但是…可能降低或者改变源特征降低干扰–腐蚀/膨胀/打开/关闭/数学全部或者部分图像平衡亮度级别的不一致创建黑白图像结果–改良后的图像图像增强–亮度级别/二值化•优化工具运行速度，节约检测时间，实现精确定位检测•方法…边缘定位Blob定位模式匹配定位–Origin工具1到3个ROI单点中心功能结果-X,Y,以及角度定位–LineFind工具1个ROI(单方向)多点(求平均)中心功能结果–直线以及角度定位-Blob工具多特征(blob)重心以及角度结果–X,Y,以及角度定位–PatternFind训练新的模式(作为标准模型)搜寻匹配结果-X,Y,以及角度;匹配度%.测量工具•直线/圆形测量•公差–名义值,+/-•标定值(标定成图纸尺寸)•方法…直线测量直线到基准测量圆形测量测量–CircleGauge多点(多点形成一个圆形)离群值检测结果–圆心,同心度,ID(内径),OD（外径）,pass/fail特征检测•多出/缺损特征以及缺陷检测•方法…灰度分析灰度百分比像素统计Blob分析灰度像素聚合通过大小以及外形过滤模式匹配模板匹配(可训练)结果–条形码,字符读取（OCR）等特征检测–AverageIntensity/Contrast多个ROI通过百分比、数量检测结果–亮度,像素数量,pass/fail特征检测–Blob分析多个ROI外形过滤(面积，高度，宽度等)结果–blob序列,blob数量,pass/fail模式匹配训练理想模式查找最佳匹配结果–定位,匹配率,pass/fail模板–Adaptive/Greyscale训练理想模式检测图像的不同部分结果–结果差异图像,blob数据,pass/fail读取工具条形码(UPC,128,2of5,等等)数据点阵（光学字符识别）OCR训练字形库设置最小匹配率以及匹配字符结果–字符,pass/fail通讯工具•Pass/Fail结果状态输出离散输出给机器控制理想控制(快速&直接通讯给出结果)•检测数据给出过程控制（根据具体的硬件平台确定）数据–尺寸,亮度，百分比等等串口输出以太网口输出协议TCP/IPEtherNet/IPorPCCC(ABPLC)MODBUSActiveXOPCServer视觉应用建立的基本思路前期评估：拿到检测样品、要求。根据要求在实验室得到图像做出基本思路程序以及得出可行性结果。中期制作：根据前期评估制作出项目需要的硬件不见以及利用视觉分析软件编辑可用出可用检测程序。后期调试运行：到现场根据情况安装设备，进行后期调试运行。选择/设定触发方式获取图像图像检测项目确认工具原点定位检测、测量、模板对比等检测方法得到结果做出分析根据要求结果输出（数字I/0、串口、网口）编程详细思路：