机器视觉技术及其产业应用

机器视觉技术及其产业应用自动化前沿之二姜伟智能系统与控制研究所主要内容机器视觉系统简介机器视觉系统的必要性系统构成硬件、软件、环境等机器视觉技术标定、特征提取、图像复原、图像分割等应用案例娃哈哈瓶装水检测系统视觉系统设计要点一、机器视觉系统简介计算机视觉的概念WhyVision？视觉是人类最重要的感觉，人类认识外界信息80%来自视觉机器视觉的概念利用各种成像系统代替人类的视觉器官作为输入手段，由计算机来代替大脑完成处理和解释机器视觉的最终目标使计算机像人那样，通过视觉观察和理解世界，具有自主适应环境的能力一、机器视觉系统简介机器视觉的研究目标机器视觉当前的研究目标使机器具有通过二维图像认知三维环境的能力：感知三维环境中物体的几何信息，包括形状、位置、姿态、运动等对它们进行描述、存储、识别与理解视觉系统图像视觉信息（物体的形状、位置、姿态、运动等）一、机器视觉系统简介机器视觉与相关学科的关系图像处理(ImageProcessing)图像处理，人是最终的解释者计算机视觉，计算机是图像的解释者模式识别(PatternRecognition)根据从图像中抽取的统计特性或结构信息，把图像分成设定的类别图像处理系统图像处理过的图像模式识别系统模式分类结果人工智能计算机视觉模式识别图像处理机器视觉、图像处理与模式识别一、机器视觉系统简介机器视觉与相关学科的关系计算机图形学（ComputerGraphics）计算机图形学是一种使用数学算法将二维或三维图形转化为计算机显示器的栅格形式的科学计算机图形学：从三维描述到二维图像显示计算机视觉：从二维图像数据到三维描述计算机图形学三维模型二维显示一、机器视觉系统简介计算机视觉的困难与问题计算机视觉是一个逆问题输入：二维灰度图像输出：三维物体的几何特征、位置视觉信息多种多样，视觉知识的表达很困难图像数据量巨大，信息存储与检索困难对生理学、神经生物学等的研究有待深入一、机器视觉系统简介机器视觉的应用领域自主车导航目标跟踪工业应用产品检验、柔性装配、海洋石油开采、海底勘察医疗和军事应用：医疗外科手术……二、视觉系统的必要性自动化技术与机器视觉自动化技术的发展史是机器逐步取代人工的历史；传感与控制是自动化的主要分支；人类大脑、四肢、感官和神经分别可以对应CPU、运动控制、传感器和网络。人类视觉是最后几个被取代的器官之一在很多情况下人类视觉越发不能满足要求高速、高精、超视、微距，客观、无疲劳、环境限制等。二、视觉系统的必要性经济危机对美国及全球生产自动化的极大冲击2009年的经济危机极大地冲击了美国至全球的各个领域,特别是工业生产业.美国汽车制造业的”BigThree”频临破产,进一步自动化是唯一出路美国总统Obama认为”工业生产流失海外”是使美国经济不堪一击的根本.美国政府未来十年强烈推行“MadeinUS”计划.实现这一目标,高度自动化是降低成本,增加竞争力的唯一及最佳办法.为此,美国联邦政府出台多个政策刺激鼓励企业技术发明创新,提高生产自动化.二、视觉系统的必要性生产自动化及视觉在中国的发展必要性中国的劳动力不再廉价•新劳工法出台,工资成本大幅提高•工人福利亟需改观(富士康１６跳,本田罢工„..)•很多生产企业迁移到人力资源更低廉的国家和区域食品,医药质量事件接二连三,令人深思中国产品质量“ＭａｄｅinChina”在世界声誉亟需提高为保持竞争力,提高产品质量,各个领域的视觉检测及高度自动化势在必行!二、视觉系统的必要性视觉检测对工业自动化的重要性与日俱增机器视觉检测在工业自动化生产上,高速,重复性强,检测精度高的应用上是人工检测无法替代的。机器视觉检测降低人工费用,提高生产成品率,减少昂贵的生产安装过程中产生的错误及次品。目前从一般的饮料到复杂的电子产品,几乎每一领域的产品从生产到包装,都需要不同程度的机器视觉检测。先进的视觉检测很快成为工业领域的必需品,以确保产品的性能及质量可靠,保持成本竞争力.二、视觉系统的必要性视觉技术的发展进化使其在工业自动化上的需求更加迫切机器视觉的成本极大的降低,增加了其普及性.视觉技术的发展,更多的可选性(数字GigE,多相机系统)视觉系统变得更加简单易用,界面更加逻辑化,人性化,１５分钟便可开发一技术方案。提高了效率,降低了维护成本.高度集成化(I/O,各种工业通讯协议已镶嵌其中)二、视觉系统的必要性工业自动化需求对视觉技术的推动高度集成化移植性强,通讯集成化,兼容性高机器视觉方案必须提供与辅助设备的无缝式交互通讯PLCs运动控制器机器人显示设备I/O输入输出(触发和外部直接控制)不同程度的集成可能要求更多的I/O扩展在一些工业应用里,嵌入的数据记录和历史追溯功能极为必要,可协助汇总所有数据到数据中心库里.三、机器视觉系统构成机器视觉系统基本构成三、机器视觉系统构成本节主要内容1.感光芯片---CCD2.相机3.镜头4.光源5.采集卡6.软件三、机器视觉系统构成相机及感光芯片CCD简介：CCD，英文全称：Charge-coupledDevice，中文全称：电荷耦合元件。可以称为CCD图像传感器。CCD是一种半导体器件，能够把光学影像转化为数字信号。CCD上植入的微小光敏物质称作像素（Pixel）。一块CCD上包含的像素数越多，其提供的画面分辨率也就越高。CCD的作用就像胶片一样，但它是把图像像素转换成数字信号。CCD上有许多排列整齐的电容(MIS结构)，能感应光线，并将影像转变成数字信号。经由外部电路的控制，每个小电容能将其所带的电荷转给它相邻的电容。三、机器视觉系统构成---CCD感光芯片组成结构CCD和传统底片相比，CCD更接近于人眼对视觉的工作方式。只不过，人眼的视网膜是由负责光强度感应的杆细胞和色彩感应的锥细胞，分工合作组成视觉感应。CCD经过长达35年的发展，大致的形状和运作方式都已经定型。CCD的组成主要是由一个类似马赛克的网格、聚光镜片以及垫于最底下的电子线路矩阵所组成。三、机器视觉系统构成---CCD感光芯片彩色CCD的组成结构分图CCD的三层结构：上：增光镜片、中：色块网格下：感应线路由微型镜头、马赛克分色网格，及垫于最底层的电子线路矩阵所组成三、机器视觉系统构成---CCD感光芯片电荷的生成电极的吸收和硅-二氧化硅界面上的多次反射而引起某些波长的光产生干涉，出现明暗条纹三、机器视觉系统构成---CCD感光芯片混色（RGB色）原理CCD的第二层是『分色滤色片』，这个部份的作用主要是帮助CCD具备色彩辨识的能力。回到源头，CCD本身仅是光与电感应器，透过分色滤片，CCD可以分开感应不同光线的『成分』，从而在最后影响处理器还原回原始色彩。三、机器视觉系统构成---CCD感光芯片目前CCD有两种分色方式：一是RGB原色分色法，另一个则是CMYG补色分色法，这两种方法各有利弊，过去原色和补色CCD的产量比例约在2：1左右，2003年后由于影像处理引擎的技术和效率进步，目前超过80％都是原色CCD的天下。彩色CCD混色（RGB色）原理三、机器视觉系统构成---CCD感光芯片补色原理补色CCD由多了一个Y黄色滤色器，在色彩的分辨上比较仔细，但却牺牲了部分影像分辨率，而在ISO值上，补色CCD可以容忍较高的感度，一般都可设定在800以上。三、机器视觉系统构成CCD系统信噪比信噪比（SignaltoNoiseRatio）-衡量信号及噪音的关系-表征检测的限度（灵敏度）噪音常常表现在电子元件传输或接收信号的时候三、机器视觉系统构成---CCD感光芯片CCDISO感光能力—电极暗电流定义暗电流是指在没有入射光的情况下CCD所仍具有之电荷量，理想的CCD其暗电流应该是零，但部分游离电荷会残存在电极之间，导致没有光线下CCD还是『感应』到些许的『电荷』存在，形成了『看到了』的杂像！三、机器视觉系统构成---CCD感光芯片CCDISO感光能力—电极暗电流影响因素一S/N的强度还会随温度增高而增加（每增加10℃，S/N可能增加1倍）。因此，在连续施加电源过久的情况下，机体温度过热会导致画面的噪声增加。三、机器视觉系统构成---CCD感光芯片CCDISO感光能力—电极暗电流影响因素二曝光过度也会使景物较为明亮区域的CCD带有过量电子。一般来说CCD会忠实的反应其结果，就是曝光过度的白光！。不过，在极端情况下，CCD的电子会渗进邻近的电极当中，导致数字影像拖出长白光迹或变色光影。三、机器视觉系统构成---CCD感光芯片CCD-控温方式CoolCCD-消除热或暗电流产生的噪音-噪音底，图像质量高-灵敏度高，感光效果佳-几何失真度小-解析度稳定，补偿效果佳-耐震动，不易受点磁场干扰附：普通CCD暴光超过10秒，发热；-20度摄像头可拍摄5分钟图像；-40度摄像头拍摄时间可超过1小时三、机器视觉系统构成---CCD感光芯片类型三、机器视觉系统构成---相机三、机器视觉系统构成---相机三、机器视觉系统构成---相机三、机器视觉系统构成---相机三、机器视觉系统构成---相机三、机器视觉系统构成---相机三、机器视觉系统构成---相机分辨率速度灵敏度体积/重量接口…选型时主要考虑因素：三、机器视觉系统构成---镜头接口形式：C-Mount/CS-Mount/FMount/Others镜头类型：标准、远心、广角、近摄、远摄等选择依据：相机接口/物距/拍摄范围/CCD尺寸/畸变的允许范围/放大率/焦距/光圈等三、机器视觉系统构成---镜头三、机器视觉系统构成---镜头三、机器视觉系统构成---镜头镜头相关参数：•放大率•焦距•对焦范围•失真•视场•景深•分辨率三、机器视觉系统构成---远心镜头远心镜头在用于测量的机器视觉中，有一些因素影响测量精度或重复性。a)物体位置变化引起比例尺改变；b)畸变c)投影误差d)物体边缘测量误差大有一种镜头可以很大程度上降低以上误差，甚至消除这些误差，这种镜头就是远心镜头。三、机器视觉系统构成---远心镜头远心镜头三、机器视觉系统构成---远心镜头远心镜头三、机器视觉系统构成---远心镜头远心镜头一个很大的缺点，那就是远心镜头的口径至少要与需要观察的物体尺寸相等或更大。这也是为什么远心镜头非常贵的原因之一。远心镜头的优点：􀂙没有视差畸变􀂙是尺寸测量的理想镜头􀂙可以在工作距离变化的条件下精密测量三、机器视觉系统构成---镜头选择四原则原则一:相机芯片尺寸镜头尺寸≧相机芯片尺寸三、机器视觉系统构成---镜头选择四原则原则二:相机接口类型相机接口的种类三、机器视觉系统构成---镜头选择四原则原则三:镜头工作距离系统设计与镜头工作距离的选择1.先选择镜头，后设计系统2.尽可能选择成熟已有的产品3.镜头的工作距离包含了一个区间的概念三、机器视觉系统构成---镜头选择四原则原则四:镜头视场角三、机器视觉系统构成---镜头像元分辨率是系统设计的一项关键指标确定放大率具体应用的约束条件测量，检测（颜色）→确定畸变率、色差物距与安装尺寸→确定焦距与变焦范围光强及其一致性→确定光圈及调整范围相机→确定接口方式与靶面检测目标和要求的一致性→确定是否需要变焦、变倍、变光圈辅助手段接圈转接环定做镜头选择方法：三、机器视觉系统构成---光源好的打光方式等于成功了一大半光源调制目标信息后传递给探测器（将目标想成我们自己）探测器所获得的光线必须包含足够的信息以便分离感兴趣的主要特征信息，并便于处理器将它们区分开来目标是最大化感兴趣区域的特征同时抑制其他的特征（噪声）为什么需要光源三、机器视觉系统构成---光源种类：LED、萤光灯、卤素灯（光纤光源)、特殊光源GarbageIn,GarbageOut特点：LED寿命长/可以有各种颜色/便于做成各种复杂形状/光均匀稳定/可以闪光；萤光灯光场均匀/价格便宜/亮度较LED高；卤素灯亮度特别高/通过光纤传输后可做成三、机器视觉系统构