机器视觉的应用

机器视觉的应用机器视觉的应用钟明钟明一、机器视觉基本组成、机器视觉基本组成1,Camera.2,illumination、3,Sensor4Framegrabber5IPC6Sofeware4,Framegrabber5,IPC6,Sofeware7,IOsorMotionController二、机器视觉常见应用领域：电子/半导体：LCD、键盘、连接器、锂电池、PCB、IC、wafer、LED、solorcell、ITO等；五金：冲压、精密五金件、五金外壳等；食品：密封、生产信息、包装质量、食品安全等；包装：瓶盖瓶体瓶标载带日化产品等；包装：瓶盖、瓶体、瓶标、载带、日化产品等；印刷：钞票、防伪票据、商标、卡片、电子器件等；汽车：零件检测、装配、机器人引导、2D码释读等；纺织/塑胶验布注塑机模具监视等纺织/塑胶：验布、注塑机、模具监视等；医疗/医药：液体药品、注射器、包装等；科研：教学实验室建设、科研演示项目等。三、机器视觉常见应用举例（I）三、机器视觉常见应用举例（II）三、机器视觉常见应用举例（III）四、机器视觉应用分类五、机器视觉应用难度识别定位测量检测识别定位测量检测有无校正点形状/轮廓颜色引导线灰度/色彩颜色引导线灰度/色彩粗略位置套准弧/圆装配质量条码对位间距统计信息二维码跟踪几何组合表面缺陷OCR/OCV3D引导3D尺寸3D缺陷六、机器视觉应用-识别在这里所谓识别就是对已知规律的物体进行分辨，比较容易的包含外形、颜色、图案、数字、条码和二维码等。当然也有信息量大或者更抽象的，比如人脸、指纹、虹膜等。七、机器视觉应用-定位（1）定位就是在识别出物体的基础上并精确给出物体的坐标和角度信息。定位在视觉应用中属于基础应用，一个软件的好坏很大程度取决于定位算法的能力。七、机器视觉应用-定位（2）定位是怎样实现的？识别2.目标识别测试目标识别测试图像中与模板相同的所有可能目标训练１通过训练１.通过训练教会模型3.忽略形态不同的部件七、机器视觉应用-定位（3）常见的定义算法有两大类：基于灰度信息和基于几何轮廓。商标切割机激光焊接机激光打标机固晶机Diebonder邦线机WirebonderCOG丝印机贴片机点胶机铣边钻孔设备制卡设备机器人引导七、机器视觉应用-定位（4）3D定位技术-将在后面的章节详解八、机器视觉应用-测量（1）测量在机器视觉中就是把获取的图像像素信息标定成常用的度量衡单位，然后在图像中精确的计算出需要知道的几何尺寸。通过图像的方式更容易测量一些组合复杂的尺寸或基准复杂的尺寸。图像的方式更容易测量些组合复杂的尺寸或基准复杂的尺寸。八、机器视觉应用-测量（2）测量应用举例九、机器视觉应用-检测（1）检测在机器视觉中主要是指的各类外观缺陷，一般情况下种类繁杂，这样就注定的检测在机器视觉应用中处于相对难解决的应用。最常见的缺陷表面装配缺陷（如漏装、混料、错位、错色等）、表面印见的缺陷表面装配缺陷（如漏装、混料、错位、错色等）、表面印刷缺陷（如多印、漏印、重印、拉丝、模糊等）、表面形状缺陷（如崩边、披锋、凸起、凹坑、磨损等）。九、机器视觉应用-检测（2）检测应用举例九、机器视觉应用-检测（3）检测应用举例-综合类十、机器视觉在食品及包装行业的应用各色各样的包装产品越来越与日常生活密不可分。矿泉水、碳酸饮料、果汁、凉茶、啤酒、白酒、牛奶等饮料，食用油、罐头、奶粉、果冻等食品，洗发水、沐浴露、洗手液等日用品；消毒液、奶粉、果冻等食品，洗发水、沐浴露、洗手液等日用品；消毒液、机油、润滑油等有机溶剂等需要通过快速包装线进行生产，由于现在对包装越来越挑剔，贯穿整个包装生产过程需要多道工序的检测，主要是对每个加工工程的监控，能够最快把不良产品剔除检测，要是对每个加程的监控，能够最快把不良产品剔除出去，以减少后续环境加工引起的浪费。目前包装过程检测基本是以视觉检测为主，比如检测液位、检测来料反或混、检测杂质、检测拧盖质量、检测密封质量、检测贴标质量、检测喷码或激光打标错误等。德芙、玛氏、M&M’S、士力架十、机器视觉在食品及包装行业的应用在食品及包装行业为什么需要机器视觉？1，可靠性，不会疲劳。高效性速度比人眼快2，高效性，速度比人眼快。3，评价标准化，有一直的判断准则。4，卫生&安全。十、机器视觉在食品及包装行业的应用十、机器视觉在食品及包装行业的应用成功案例举例洗手液包装综合检测成功案例举例一洗手液包装综合检测十、机器视觉在食品及包装行业的应用洗手液包装综合检测项目：十、机器视觉在食品及包装行业的应用1，采用大视野远心镜头测量盖章是否有未盖紧。采用夹紧带搬运瓶体2，采用夹紧带搬运瓶体，在底部相机采用45度反射镜防止液体或灰尘遮挡镜头相机头、相机。十、机器视觉在食品及包装行业的应用高盖检测流程：1，学习盖子的外形模，版。2，在盖子边缘与瓶身接触位置分别增加卡尺工具。3，根据卡尺的测量值与设定值比较，如果任边高设定值为合一边高于设定值为不合格。十、机器视觉在食品及包装行业的应用底部喷码检测流程：1学习整个字符串的1，学习整个字符串的模板。2，在以整个字符串为基准逐个学习字符。基准逐个学习字符。3，检测过程字符与模版不符将会自动剔除。十、机器视觉在食品及包装行业的应用1、标签检测正面采用大尺寸无影照明光源。2背景对暗色的瓶身2、背景对暗色的瓶身采用背光，对亮色的瓶身采用黑色哑光板。十、机器视觉在食品及包装行业的应用标签检测流程：1学习瓶身的轮廓模1，学习瓶身的轮廓模版。2，学习标签的模版，并学习两者的位置差。并学习两者的位置差。3，设定允许的标签偏差值。十、机器视觉在食品及包装行业的应用成功案例举例一瓶盖检测（以此需要来推演开发过程）十、机器视觉在食品及包装行业的应用检测内容：盖面1，图案错误或偏移。1，图案错误或偏移。2，表面脏污。3，颜色偏色。胶垫面胶面1，胶垫缺失或破损。2，冲压形状不良。十、机器视觉在食品及包装行业的应用其他要求：1，生产线速度为每分钟2200~3000个。2，盖面图案最小缺陷宽度0.5mm，表面轻微不平是允许的。2，盖面图案最小缺陷宽度0.5mm，表面轻微不平是允许的。硬件选型-相机：A首先是动态检测，必须用全帧（globalshutter）曝光，同时速度首先是动态检测，须用全帧（g）曝光，同时速度很高，相机的帧速要高，帧率必须大于最大生产速度（50pcs/s）。B瓶盖尺寸只有32mm，缺陷占比1/64，因此640x480像素足够。C高速的应用如果成本要求不是太严苛，尽可能选用大一点芯片的相机，不说2/3“,至少1/2“。D考虑速度和性价比，相机接口推荐GigE或1394B。E正面检测用彩色相机，背光用黑白相机。综合选的相机少我们实综合A~E，可选的相机不少，我们实际采用了BalserscA640-74gc和scA640-74gm。十、机器视觉在食品及包装行业的应用相机速度够用么？BalserscA640-74gc和cA640-74gm的相机每秒帧率只有74，也就是一幅图采集和传输消耗的时间是1000/74=约13.5ms。就是幅图采集和传输消耗的时间是1000/74约13.5ms。最大的生产速度是每分钟3000个，也就是每秒钟50个，对一个瓶盖最短的时间是20ms。那留给软件处理的时间是多少呢？那留给软件处理的时间是多少呢20ms-13.5ms=6.5ms(对大部分软件应用来说这个时间都很无奈)不过还好，相机外触发功能能实现DMA，那么CPU就不用操心采集，专心的做图像处理。十、机器视觉在食品及包装行业的应用镜头怎么选？这个相机正反面都是30万像素的相机，产品只有32mm直径，考虑机械余量我们大致可以设定视野64x48mm左右。芯片1/2”(6.4x虑机械余量我们大致可以设定视野64x48mm左右。芯片1/2(6.4x4.8mm),镜头倍率0.1X。这个没有什么好犹豫的，基本所有的定焦镜头都能做到，不同就是工作距离。就是作距离。本设备上下的空间很大，空间没限制，是不是随便选一个就可以了呢？不对，还有光源没有考虑，要预留光源的空间（特别是用到Dome无影光时焦距往往是固定的，不能多也不能少）。具体的焦距就必须要光源确定后再选。十、机器视觉在食品及包装行业的应用光源怎么选？先看正面材质是金属，但它只是背景，反光比较强烈；检测的图案是油墨，材质是金属，但它只是背景，反光比较强烈；检测的图案是油墨，有一定的突起，反光度一般，首先排除了直射型的光源。背景和要检测图案反光明细差异我们首先想到的应该是同轴光。但是我们再看看要求说明（表面轻微不平是允许的），那就是说但是我们再看看要求说明（表面轻微不平是允许的），那就是说表面会有一定的起伏，对同轴光比较致命，会出现背景亮暗不均。所以我们要考虑选择对镜面不平整物体合适的光源，那最佳的选择是无影+同轴光源的组合。需要检测印刷中心是否偏移，同时选择背光来增强边缘对比度。十、机器视觉在食品及包装行业的应用光源怎么选？背面光源选择先看背面的检测内容（1，胶垫缺失或破损。2，冲压形状不先看背面的检测内容（1，胶垫缺失或破损。2，冲压形状不良）胶垫是透明或半透明材质的，要检测破损就得突出胶垫的轮廓，那么合适的就是暗场的环形照明。那么合适的就是暗场的环形照明。问题又来了，胶垫在图像中很明显，但是冲压的裙边不明显，对胶垫别的光源都不合适，这种情况也可以考虑用组合光源，我们要找一个能照亮裙边同时对胶垫影响最小的。最终选择是一个两层的环形光源，能够解决以上的问题。十、机器视觉在食品及包装行业的应用软件如何实现？硬件已经完成，就该规划软件了，大部分商业软件都能完成常见的应用，只是效能和方便性的差异，我们常用的开发平台通常是visionpro和halcon。这里以visionpro为例。盖检测的逻辑盖面检测的逻辑检测图案错误和表面脏污的工具一致学习正确盖面的模板和图案Æ定位盖面图案Æ以定位的位置调整被测盖面图案的位置和角度Æ与事先学习的模版图像做差调整被测盖面图案的位置和角度Æ与事先学习的模版图像做差并取绝对值Æ对差异图像进行blob分析检测图案偏移学习正确盖面的模板和图案Æ定位盖面图案确定图案的中心坐学习正确盖面的模板和图案Æ定位盖面图案确定图案的中心坐标Æ找到与裙边相嵌的夹具的边缘并拟合出圆（就是裙边所在圆）Æ将拟合圆与图案的圆坐标做差检测色彩偏色检测色彩偏色学习正确盖面的模板和图案Æ定位盖面图案Æ在定位后的坐标中设置颜色探测器（可多个，学习并保存）Æ检测与学习颜色的差异颜色的差异十、机器视觉在食品及包装行业的应用学习模版及定位输出（PMAlign）学习模版及定位输出（PMAlign）十、机器视觉在食品及包装行业的应用学习图案及图案比较（PatInspection）学习图案及图案比较（PatInspection）十、机器视觉在食品及包装行业的应用Blob分析（BlobTool）和颜色检测（ColorSegmenter）Blob分析（BlobTool）和颜色检测（ColorSegmenter）十、机器视觉在食品及包装行业的应用复合结果判断复合结果判断十、机器视觉在食品及包装行业的应用胶垫面检测的逻辑胶垫面检测的逻辑检测胶垫缺失通过blob工具学习胶垫图像的灰度和面积Æ灰度或面积不符合的则是不良产品则是不良产品检测胶垫破损通过圆拟合工具找到胶垫的中心Æ以中心画圆（分别是胶垫最外边和往内收2mm为半径）Æ将圆环区域做为被检区域进行blob边和往内收2mm为半径）Æ将圆环区域做为被检区域进行blob分析（有颜色变暗的斑点则为不良）检测冲压形状不良通过圆拟合工具找到胶垫的中心Æ以中心画圆（分别是胶垫最外通过圆拟合工具找到胶垫的中心Æ以中心画圆（分别是胶垫最外边和往外直到超出裙边）Æ将圆环区域做为被检区域进行blob分析（对找到的斑点进行统计，个数不符合或最大减最小超过设定值为不良）值为不良）十、机器视觉在食品及包装行业的应用检测胶垫有无检测胶垫有无十、机器视觉在食品及包装行业的应用检测胶垫破损检测胶垫破损十、机器视觉在食品及包装行业的应用冲压成型不良的判断（BlobTool）冲压成型不良