机器视觉基础

Dr.YuWenyong11机器视觉自动检测技术余文勇Dr.YuWenyong22•联系方式–机械学院数字制造国家重点实验室–E-mail：[e-mail]33学习目的•知识－了解机器视觉与图像处理的基本原理、构造、编程技术，以及各种机器视觉检测技术的相关知识；•能力－熟悉图像处理程序的编写与调试，具备基本的编程解决问题的能力；•情商－具有机电工程师应有的认真负责之态度Dr.YuWenyong44大纲•一、机器视觉基础(2学时)•二、机器视觉器件(4学时)•1．相机的分类及主要特性参数•2．镜头的原理与选型•3．图像采集卡的原理及种类•4．图像数据的传输方式汇总及比较•5．光源种类与选型•三、机器视觉成像技术(2学时)•1．灰度照明技术•2．彩色照明技术•3．照明器材原理及选型•四、机器视觉核心算法集合(6学时)•1．滤波算法及其应用•2．数学形态学及其应用•3．边缘检测算法及其应用•4．污点查找算法及其应用•5．阈值分割的原理与方法汇总•6．模版匹配算法及其应用•五、机器视觉工程应用(10学时)•1．机器视觉系统需求分析及系统设计概述•2．在表面检测领域中的应用及案例分析•3．在尺寸测量领域中的应用及案例分析•4．在包装行业中的应用及案例分析•5．在字符识别中的应用及案例分析Dr.YuWenyong55第一课机器视觉基础Dr.YuWenyong661.机器视觉的定义•机器视觉：用机器代替人眼来做测量和判断•机器视觉系统–采用图像摄取装置将被摄取目标转换成图像信号，传送给图像处理系统；–图像处理系统根据像素分布和亮度、颜色等信息，进行运算来抽取目标的特征：面积、长度、数量、位置等；–根据预设的判据来输出结果：尺寸、角度、偏移量、个数、合格/不合格、有/无等；–指挥执行机构进行诸如定位或分选等相应控制动作Dr.YuWenyong77Dr.YuWenyong882.机器视觉的特点•机器视觉系统的特点–在一些不适合于人工作业的危险工作环境或人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉；–在大批量工业生产过程中，用人工视觉检查产品质量效率低且精度不高，用机器视觉检测方法可以大大提高生产效率和生产的自动化程度，机器视觉系统广泛地用于工况监视、成品检验和质量控制等领域。•机器视觉易于实现信息集成，是实现计算机集成制造的基础技术。Dr.YuWenyong99机器视觉与计算机视觉•、图像处理模式识别人工智能数学认知科学机器学习计算机图形学传感器自动控制计算机软件计算机网络机械设计应用光学计算机视觉机器视觉工业自动化Dr.YuWenyong10103.检测功能•有/无判断（PresenceCheck）•面积检测（SizeInspection）•方向检测（DirectionInspection）•角度检测（AngleInspection）•尺寸测量（DimensionMeasurement）•位置检测（PositionDetection）•数量检测（QuantityCount）•图形匹配（ImageMatching）•条码识别（Bar-codeReading）•字符识别（OCR）•颜色识别（ColorVerification）Dr.YuWenyong11114.机器视觉应用行业•电子（Electronics）•半导体（Semiconductor）•计算机和外设（Computer&Peripherals）•制药（Pharmaceutical）•包装（Packaging）•汽车（Automotive）•印刷（Printing）•消费品（ConsumerGoods）•食品饮料（Food&Beverage）•医学（Medicine）•机械制造（OtherIndustries）机械制造IC装备消费电子汽车Dr.YuWenyong12124.1电子与半导体行业应用•LED和LCD测试–大小、形状、亮度、颜色ON/OFF–LCD平板玻璃•PCB检查–焊点质量、丝印质量–钻孔对位•IC芯片、元件检测–有无、方向/极性–印刷质量、字符识别–管脚排列一致性Dr.YuWenyong13134.2计算机和外设行业应用•软盘、光盘印刷质量•硬盘磁头倾斜度•连接器针脚排列•扁平电缆印字符识别Dr.YuWenyong14144.3制药行业应用•胶囊生产中的质检–壁厚、高度、外观缺陷•药片形状、厚度•药片装瓶数量计数Dr.YuWenyong15154.4包装行业应用•药品、化妆品包装–外观、条码–完整性•食品包装–生产日期、条码、密封性Dr.YuWenyong16164.5汽车行业应用•仪表盘校准（速度表）–由表盘图像计算指针位置•风挡雨刮器零件分类–根据形状、面积、长度等•车灯检测•表盘、按键丝印质量•零部件装配完整性Dr.YuWenyong17174.6印刷行业应用•钱币印刷质量•号码识别•丝印质量•塑料薄膜印刷对位Dr.YuWenyong18184.7消费行业应用•钻石多棱面加工•刀柄仿型加工•鞋模制造•喷雾器喷射形状分析•陶瓷印花质量检查Dr.YuWenyong19194.8食品饮料行业应用•瓶装液位高度检查•啤酒瓶外观检测–高度、形状、颜色、B标–瓶盖标签完整性–破损情况•口服液瓶质检•罐装饮料外观检查–保质期、条码Dr.YuWenyong20204.9医学应用•血液分析•光电内诊镜测试•细胞分析Dr.YuWenyong21214.9机械制造行业•量仪校准•轴承检查•焊接质量检查•装配完整性Dr.YuWenyong22225机器视觉知名产品介绍•美国–Congnex，NI，DataTransaction•德国–Basler，VMT，Siemens•日本–Omron，Panasonic，Keyence•加拿大–Dalsa，Hexsight•中国–系统集成商Dr.YuWenyong2323附：数字图像处理的发展概况和应用1.1964年：美国喷气推进实验室用计算机对“徘徊者七号”太空船发回的大批月球照片进行处理。数字图像处理应用从空间研究计划扩展到生物医学，工业生产，军事侦察等领域。2.二十世纪六十年代末：数字图像处理较完整的理论体系已形成，成为一门新兴的学科。3.二十世纪六十年代至八十年代：随着离散数学理论的创立和完善，数字图像处理理论和方法进一步完善，应用范围更加广泛。4.机器视觉的推广源自美国八十年代汽车工业的快速增长5.二十世纪九十年代以来：数字图像处理向更高级的方向发展：实时性，智能化，普及化，网络化，低成本Dr.YuWenyong2424应用领域：通信：图像传输，电视电话，HDTV等。宇宙探测：星体图片处理。遥感：地形、地质、矿藏探查，森林、水利、海洋、农业等资源调查，自然灾害预测，环境污染的监测，气象云图。生物医学：CT，NMR，PET，SPECT，DSA，X射线成像，B超，红外图像，显微图像。工业生产：产品质量检测，生产过程控制，CAD，CAM。Dr.YuWenyong2525应用领域：军事：军事目标侦察，制导系统，警戒系统，自动火器控制，反伪装等。公安：现场照片，指纹，手迹，印章，人像等处理和鉴别。档案：过期的文字、图片档案的修复和处理。机器人视觉娱乐：电影特技，动画，广告，MTV等。Dr.YuWenyong2626图像处理最先应用于空间探索Dr.YuWenyong2727地球资源勘探Dr.YuWenyong2828•微波段成像（雷达）不受气候、光照条件影响，可以穿透云层，通过植被、冰层和极干燥地区西藏东南山区航天器拍摄的雷达图像地球资源勘探Dr.YuWenyong2929遥感图片Dr.YuWenyong3030Dr.YuWenyong3131气象云图气象预报Dr.YuWenyong3232计算机合成图像Dr.YuWenyong3333计算机合成图像Dr.YuWenyong3434军事应用目标跟踪Dr.YuWenyong3535军事应用隐形飞机、定位轰炸Dr.YuWenyong3636军事应用Dr.YuWenyong3737军事应用Dr.YuWenyong3838火星车前部图，中部的两个小突出是两个黑白CCD摄像机自动驾驶勇气号火星车Dr.YuWenyong3939Rocky7视觉系统获取的立体图象对(a)深度图象(b)障碍物探测示意图Rocky7视觉系统对场景的深度恢复Dr.YuWenyong4040“机遇”号火星车拍摄火星土壤的显微照片“勇气”号火星车发回的彩色照片美国勇气号和机遇号火星探测移动机器人Dr.YuWenyong4141CMU月球探测实验车Nomad漫游者Dr.YuWenyong4242X-RayDr.YuWenyong4343MRIDr.YuWenyong4444MRIDr.YuWenyong4545超声图像Dr.YuWenyong4646超声图像Dr.YuWenyong4747超声图像PhotocourtesyPhilipsResearchUltrasoundexaminationduringpregnancyDr.YuWenyong4848红外图像Dr.YuWenyong4949红外图像Dr.YuWenyong5050医学图像Dr.YuWenyong5151医学图像