机器视觉技术原理

1为什么需要机器视觉？2正方形?3圆形?4A相对B?5相机和人类视觉看到的存在不同的差异人类大脑可以推断看不到的部分人类大脑可以从多个角度构建出完整的图像机器视觉单色（灰度）图像只能显示出不同的对比度。搜易，一个好的机器视觉下的图像与人类视觉是截然不同的。机器视觉6隔离I/O操作界面(可选)串口通讯(可选)以太网(可选)剔除装置产品传输方向不良品电源24VDCPLCI/O板触发信号废品信号输出光源(或多个组合光)相机电眼镜头IMPACTIMPACTIMPACTIMPACT典型系统安装71.质量&精度•保持一直，无主观意识,24/7全时检测2.节省劳动成本•消除工资/福利待遇/培训/责任等等3.减少废料•在生产过程中控制废品输出到下一道工序4.提高生产效率•机器视觉检测快于人眼检测5.客户关系•使用机器视觉保证质量维护良好的客户关系机器视觉优势86.数据存档•备份产品质量数据，便于以后查询7.推动技术共享•允许其他工厂自动化共享技术,(如，机器人)8.远程监控•远程诊断机器问题以及故障排除9.容错能力•错误发生之前报警，防止废品出现10.人类安全•应用与人类无法工作的环境机器视觉优势9获取到的图像发送到处理器进行特征对比分析，有无检测、定位，以及测量等相关任务处理。每个像素的亮度（RGB颜色值）是通过一个软件工具（算法）分析出来的结果值。8580123机器视觉基础10步骤1:成像系统•相机，光学器件（镜头），光源•目标图像–成像为背景与需要检测的特征形成强烈的对比。•校准&比例尺度检测过程11步骤2:检测方法•阀值&梯度分析•图像增强•FOV视场内定位产品•分析–测量,特征查找分析,读取等等检测过程12步骤3:通讯•显示检测数据到显示器•通过/失败状态发送到设备剔除装置•检测数据的过程控制检测过程13相机图像传感器灰度&彩色光谱敏感度光学器件（镜头）标准vs.远心光源考虑事项选光技巧成像14相机图像传感器工作距离分辨率DOF–景深FOV–视场成像–术语15网格光学探测器(像素)捕捉光转换光亮级别到电子信号CCDvs.CMOS–换算方法图像传感器16灰度0–255(0–黑,255–白)IMPACT使用比例尺度(0-100%)8bit(256greylevels)0265177102128153179204230255PercentageScale0%10%20%30%40%50%60%70%80%90%100%027245230238201688947158994545212417909597543483158692999902267228992969910014611888951009498994591992949993979596232080939291969498983978959597989795971001176949710099969910096100图像传感器17彩色光通过一个过滤器被传递通过三原色感光器转换成电子信号图像传感器BayerFilter18像素:•像素是最小的测量单位，通过像素的强度来进行各种机器视觉功能的分析.•相机中更多的像素可以发现比较小的特征.工作距离:•是从镜头前边缘到需要检测部分清晰对焦的距离像素&工作距离19景深(DOF):•镜头到目标零件清晰对焦的距离.•需要注意的是较短的间距或者更小孔径的退经将会增加景深。视场(FOV):•成像区域通过镜头投影到图像传感器。•木桥大多数成像传感器使用的是4:3的长宽比(4个单位宽度以及3个单位的高度).景深&视场20光源物体表面相机•从物体表面转换信息到相机基本知识21清晰的检测特征良好的对比度可测量性可重复性检测部分敏感度，尽量减少图像干扰，保证检测部分稳定机器视觉良好图像22•常规镜头:通用，适用于大部分的应用C型接口光圈调整焦距调整过滤器连接口锁定螺丝(2)镜头23低成本，小尺寸镜头畸变大型目标物体，特征查找，非测量应用常规镜头24•远心镜头:减小镜头畸变C型接口光圈调整焦距调整螺钉螺丝(2)镜头25高成本，大尺寸无镜头畸变小目标物体，公差控制测量远心镜头26常规镜头远心镜头常规镜头VS远心镜头27常规镜头VS远心镜头常规镜头远心镜头28光圈小光圈:图像传感器获取少量的光线增大景深（DOF）有助于整体解决大光圈:允许图像传感器获取更多的光线减小景深（DOF）29通常只用于传统镜头加大镜头的焦距（放大）减小镜头视场减小镜头工具距离较少光源数扩展接管30光学器件计算器下载−输入参数，以便于选择正确的镜头31取决于目标物体以及光源相互作用，不同的信息被传送到相机。光源–特征对比度！32传递反射镜面反射漫反射吸收光源–特征在大多数情况下，所有这些特征现象的组合取决于目标表面特性以及光的波长。33波长(nm)300400500600700020406080100相对强度(%)太阳光汞(紫色)石英卤素/钨丝灯氙气光白色LED红色LEDFluorescent人眼可见光范围光源–源34亮视场暗视场背光源结构光Dome碗型光同轴光光源–方法35优点:−通用用途−设置容易注:−热点落在光亮的表面−可以过滤小的阴影部分亮视场36暗视场优点:−强调高速变化−漫射表面被照亮−镜面表面发暗37背光优点:−清晰的边缘过渡−通常用于高对比度图像−表面光亮度、颜色以及无高度差−用于测量应用38Dome碗状光源优点:−忽略表面纹理特征−用于不平坦表面环光Dome光褶皱铝箔39O-RingPresentO-RingMissing结构光激光线用于产品分析−用于缺陷对比−用于高度差计算40同轴光优点:−镜面表面被照亮−强调表面纹理−倾斜表面发暗41RVOBYG红光绿光光源–彩色技术明亮–使用相同颜色光源灰暗–使用反色光源421.确定检测的需求以及特征2.确定解决方法的限制条件3.开始使用最有可能的打光技术方法4.实际当中测试可能的方案移动被测量目标曝光时间固定装置5.继续优化上一个已选择的打光方案更改条件或者打光方法获取到更优的方案6.测试文档光源选择43系统–相机,光学器件,软件最小可分辨特征尺寸大小最好小于检测公差5-10倍影响因素图像传感器分辨率–640x480…2456x2058光学器件质量软件分辨率测量–亚像素技术1/3像素特征–5x5像素面积图像系统分辨率44目标标定补偿透镜畸变比例因子–比如1英尺视场（FOV）存在1000个像素=0.001”/像素重新标定：如果光路发生变化(镜头，安装支架等等因素)比例因子无任何畸变不创仅仅是比例因子系数=单位/像素标定45图像上分段黑&白部分（二值化）自动以及固定阀值方法0-25%0-75%阀值46边缘检测的一种方法灰度值变化率Greylevelvs.Gradient01020304050607080901002838485868PixelGreylevelel-30-20-100102030GradientnGreylevelGradient梯度47减少不必要的干扰因素增强特征/边缘会使用比较长的处理时间方法…形态学光亮均匀化二值化图像增强48ROI以及全部图像多次重复处理比较长的处理时间结果–改进图像质量…但是…可能降低/改变原特征部分降噪–形态学49•ROI以及全部图像•处理光照不一致的部分•创建黑/白图像•结果–改进图像质量增强50机械部分运动的补偿允许使用精度定位的检测工具优化工具速度方法…边缘定位Blob查找模式匹配定位51•1到3个ROI(感兴趣区域)•单点•定心功能•结果-X,Y,以及角度定位–原点工具52•多特征(多个blob)•质心以及角度•结果–X,Y,以及角度定位–Blob工具53•学习一个模式(模板)•搜索匹配结果•结果X,Y,以及角度•匹配度%.定位–模式发现54线段/圆形测量公差–标准值,+/-比例标定(真实单位)方法…线段测量圆形测量测量工具55边缘查找ROI(s)点到点尺寸X,Y,或者点距结果–距离,通过/失败测量–线段测量56多点结果(平均值)背离点检测结果–中心,同心度,内径,外径,通过/失败测量–圆形测量57缺陷以及特征点的存在/缺少方法…灰度分析灰度百分比像素计数Blob分析灰度像素区域大小以及形状过滤模式匹配模板匹配(学习)结果–条形码，OCR等特征查找58多个ROI检查比例/计数结果–强度，像素计数，通过/失败特征–强度/对比度59多个ROI形状过滤(面积，高度，宽度等等)结果–blob序列,blob计数,通过/失败特征–Blob分析60学习“标准部分”检测不同的图像结果–合成图像,blob数据,通过/失败特征–模板61•条形码(UPC,128,2of5,等等)•二维码•OCR(光学字符识别)−学习字库−设置最小匹配百分数以及匹配字符•结果–字符，通过/失败读取工具62通过/失败状态输出隔离输出到机器控制单元理想控制(快速直接通讯)检测数据到处理控制数据–测量，亮度，百分比等.串口输出网口输出协议TCP/IPEtherNet/IPorPCCC(ABPLC)MODBUSActiveXOPC服务器通讯工具63唯一正确的方法就是创建一个应用程序−使用合格的镜头，光源以及软件−使用相同的静态部分触发上百次（前次）记录结果数据−比较结果，通过研究以及分析信息的标准偏差范围得到稳定性结果涉及到测量−如果所选的器件均为最佳组件−可以得到边缘重复精度为1/20th(.05)每个像素−但是保守值为1/4th(.25)个像素可以用于实际测量测量重复性64最小可以被发现的特征点反复测量2x2个像素大小的特征−一个微小的1x1大小的像素特征可能并不总是直接落入到一个像素，因此无法稳定检测到。−一个2x2大小的像素特征始终可以保证完全覆盖至少一个完整的像素。特征检测重复性