搜索
基于机器视觉的工业机器人工件搬运技术研究1.1研究背景自19世纪60年代问世以来，工业机器人不断发展和完善，现已得到广泛应用，机器人产业也逐渐成熟1。目前，全世界已拥有100多万台工业机器人广泛应用在焊接、搬运、装配、喷涂、修边、拾料、包装、堆垛和上下料等单调或复杂的作业中，为企业节约了大量的劳动成本，大大提高了劳动生产率。工业机器人是面向工业领域的多关节机械手或多自由度的机器人，它在稳定产品品质、提高生产效率和改善劳动条件等方面有着十分重要的作用，它的应用能够使企业大大缩短新产品的换产周期和节约劳动成本，从而提高了产品的市场竞争力23。随着当代工业革命深入发展，工业生产日益趋向自动化，工业机器人技术也正朝着智能、柔性的方向发展。许多发达国家对于智能工业机器人的研究都较为重视，我国也早已将其纳入国家高科技发展规划。国家层面的重视也必将给工业机器人技术带来新的跨越式发展，机器人的发展也必将对社会经济和生产力的发产生更加深远的影响1.2研究目的和意义对于工作在自动化生产线上或柔性制造系统中的工业机器人来说，其完成最多的一类操作是“抓取—放置”动作，比如流水线上的工件搬运、装配以及各工位之间的工件转移和上下料。机器人要完成这类操作是经过复杂计算的：首先，机器人必须知道怎么抓，其次机器人应该知道怎么放；同时在这个过程还要伴随着机器人运动学分析的过程。传统的工业机器人完成这类操作，必须经过精确的逐点示教后，才能一步一步的按照固定程序执行。在这个过程中，工件相对于机器人的初始位姿（位置和姿态）和终止位姿是事先规定的，但很多情况下，特别是流水线场合，工件的位姿常常是不固定的。这就导致实际目标工件的位姿与理想工件位姿总是有偏差的，这种偏差哪怕很小都会导致机器人操作任务的失败。这种由于环境的变化而导致机器人不能很好地完成任务的情况极大地限制了机器人的实际应用。这就要求工业机器人具备一定的环境适应能力，即工业机器人智能化。智能工业机器人的智能特征在于它具有与外部世界、对象、环境和人相互协调的工作机能，具体表现在机器视觉、接近觉、触觉和力觉等方面4。机器视觉是用机器代替人眼来做测量和判断的，其本质是使计算机具有认知周围环境信息的能力。这种能力不仅使机器能感知周围物体的形状、位置、姿态、运动等等信息，而且能相应地对这些信息进行描述、理解和识别。将机器视觉与机器人结合到一起，也就产生了机器人视觉。机器人视觉技术是用来模拟人类视觉，使机器人通过获取视觉信息从而对操作环境进行判别，给机器人赋予更强大的应对能力，大大增强了机器人的柔性。因而基于视觉引导的机器人拥有着广阔的发展空间，具有重要的科研和应用价值。1.3国内外现状目前，机器视觉技术已经从最初的实验室阶段逐渐走向成熟，并且在工业生产线上已经有实际应用。德国、日本、美国和韩国处在智能工业机器人领域应用研究的前沿。日本从最初的模仿到现在的独创，找到了自己的技术创新之路。德国西门子公司也紧跟着时代的步伐，将机器视觉渗透到各个领域，应用到汽车发动机装配，生产线工件分拣等领域。美国更是机器人技术的创新发源地，其机器视觉广泛应用在工业和军事上，机械手经销商，包括Fanuc公司，Motman公司和Staubli公司都推出了“拣选”系统5。如图1.1所示，日本川崎设计的工业机器人主要应用在基于视觉系统的大型物品装卸、树脂成形机械抓取和汽车车门的边角打磨工程等领域。这种机器人可以结合具体的实际应用和目标方法，配置不同的选装件和相关参数，能够适应各种应用场合。通过使用机器人内部搭载标准的机器人语言，它还可以实现高性能的动作控制和时序控制。图1.1基于视觉系统的大型物品装卸图1.2所示的是美国普渡大学研究的一种基于视觉控制的Bin-picking系统6，该系统可以从多种零件中分拣出圆形零件，它是通过简单的圆弧边界特征来识别圆形零件的。图1.3所示的是瑞典ABB公司最新推出的第二代拾取机器人FlexPickerIRB360，该机器人拥有有效载荷大、操作速度快、简单有效等优点，能够在2D视觉的帮助下，以高达2次/秒的速度捡取传送带上的物品。总的来说，美国、日本、欧洲一些发达国家在机器人视觉技术有着丰富的经验，已经开发出多款成熟产品，广泛应用在微装配、空间和军事领域。图1.2Bin-Picking机器人图1.3ABBFlex-Picker机器人我国对工业机器人的研究起步较晚，从90年代初期起，我国在工业机器人领域才取得一定的进展。随着近几年科技的进步，我国在这方面发展迅速，取得了不少科研成果，机器人的结构和控制理论不断得到创新，生产制造工艺也逐渐成熟，不断有自主知识产权的机器人产品相继问世，此外还相继建立了20多个机器人产业化基地，实施了100多项机器人应用工程，机器人产业不断壮大和发展78。新松机器人自动化股份有限公司研制机器人是拥有自主知识产权和核心技术的工业搬运机器人，它可用于锻造生产和铸件落砂等工作条件恶劣的场合，降低工人的劳动强度9。北京航空航天大学于1994年成功研制了七自由度机器人操作臂，并且研制出一系列改进型的冗余自由度机器人实验样机10。方跃提出了采用灵活角来度量操作器灵活程度，将机器人的工作空间根据灵活程度的不同划分为相应的有限灵活工作空间，高同以梯度投影法为基础，采用线性加权法，研究冗余度机器人的多指标融合优化问题。冗余自由度机器人另一个研究重点是运动学逆解，如图1.5所示，为深圳众为兴技术股份有限公司生产的四自由度分拣机器人。该机器人在分类分拣的应用中具有视觉导引功能，重点介绍了众为兴SCARA机器人及视觉系统，并在现场用实物生动展示了具有视觉功能的众为兴机器人在分类分拣的应用。众为兴公司开发研制的SCARA机器人，可应用在搬运、分拣一些较小的规则工件。图1.5众为兴展出的SCARA机器人1.4本课题的研究内容本文是针对基于视觉引导的工业机器人工件搬运技术进行的研究，简单的讲，就是在一台6轴的工业机器人的基础上引入机器视觉，利用机器人对视觉的理解，完成工业生产中工件的抓取和放置操作。在这个操作过程中，工件识别与定位和机器人运动学反解是两个关键环节。工件识别与定位是为机器人提供操作和如何操作的信息，而机器人运动学反解的准确性直接影响到操作能否完成和相应的操作精度。整个工件搬运的具体流程是：在机器人工作之前，先通过上方摄像机实时地采集工件图像，并送到图像处理系统，以便确定所感兴趣的工件以及该工件相对于机器人的位姿，最后将位姿信息反解成工业机器人熟悉的关节角度和角度控制信息，从而实现利用视觉引导机器人准确地抓取工件。同时根据已抓取工件的放置要求，进一步引导机器人完成工件的定点放置，从而实现机器人搬运操作。本课题的研究内容围绕物体识别这个中心展开，主要包括以下几个方面：1.如何获取图像获取图像是进行本课题研究的前提，顺利的通过摄像头设备获取到原始图像是一切研究的根本2.如何对图像进行预处理视觉系统中直接使用的图像，必须在进行灰度校正、噪声过滤等图像预处理。将图像中感兴趣的特征有选择地突出，衰减其不需要的特征，预处理后的输出图像并不需要去逼近原图像。3.如何对预处理以后的图像进行特征识别和特征提取已经把待测目标工件进行过图像预处理，接下来要针对静态工件的特征提取，最后要根据已经提取的目标工件的特征进行分类。特征提取的意义于要区分不同种类的工件就要把它们之间不同的信息提取出来，作为识别的前提条件。一般来说，提取普通特征包括周长、边缘、面积、曲率、角度和物体质心等4.如何根据提取的特征对目标进行分类和目标定位目标分类是指对得到的不同目标进行区分并将其归为某一已知类的过程。对于图像目标来说通常利用图像特征来对目标进行描述，然后对其分类。通过模版匹配计算目标上空间点和像素点之间的对应关系。然后创建模版，对后续的图像进行目标定位。5.如何跟踪目标对于运动的目标，通过跟踪能够得到目标的速度和加速度，并可以对将来目标出现的位置进行预测6.如何将目标在图像中的位置转化到机器人基坐标系中并进行机器人运动学反解通过相机标定得到图像坐标与机器人基坐标之间的转换关系，将目标在图像中的位置信息转化为机器人基坐标系中的具体坐标，并通过该坐标进行机器人运动学逆解，得到关节运动信息7.如何规划路径并控制机器人进行目标抓取通过前面得到的运动学逆解，合理的设置机器人抓取运动规划，包括路径规划和手部抓取规划，路径规划是研究按照何种路径，将机器人手部坐标系的原点和目标抓取坐标系的原点重合的问题，抓取点规划是针对不同形状的物体，如何选择合适夹持点位置的问题。1.5本课题的研究方法1.5.1获取图像1)硬件介绍一个稳定的视觉系统的构建需要根据任务的特点和现场环境的特点进行，例如精度，目标尺寸，检测速度，安装空间大小等要求，都将影响系统硬、软件的选择。典型的视觉系统包括的硬件很多，但最重要的最基本的三件设备是：光源、镜头和相机。本节主要给出本系统所用硬件的参数并对其进行简单介绍1.光源由于所有非发光物体都是通过反射光才能在传感器上留下影像，所以光源的正确选择是保证视觉系统正常工作的基础。在选择视觉系统光源时要注意，使用的光源要把感兴趣目标和背景区分开来，削减非关心目标或噪声的干扰，并且光源本身不会带来额外的干扰，2.镜头镜头与人眼的晶状体具有类似的功能，如果没有安装镜头进行拍摄，得到的图像将是花白色，不包含任何场景信息。所以镜头的作用是汇聚目标反射回的光，在感光原件上产生细节丰富，锐利的图像。镜头的参数选择一般是根据配用的摄像机感光原件的大小来进行的，如果二者的参数不合适，将出现图像记录不完整，视场角不符合要求或者画面在焦点外的问题本文选择的是COMUPTAR公司的M0814-MP2型号的镜头，参数如表所示：性能指标参数靶面尺寸2/3’’焦距8最大成像尺寸8.8*6.6控制光圈手动聚焦手动变焦手动接口C-接口尺寸33.5*28.23.摄像机本系统使用的是Basler公司的acA2500-14gm型号的工业相机，如图所示，该相机的性能指标和参数如表所示：图3BasleracA2500-14gm型号工业相机性能指标参数传感器类型AptinaMT9PCMOS,rollingshutter有效图像元素2592*1944像素尺寸2.2x2.2数据位数12镜头接口C-mount,CS-mount传输方式GigabitEthernet帧率14供电要求ViaPoweroverEthernet(802.3af)or+12VDC(±10%)viathecamera´s6-pinHiroseconnector外形尺寸42x29x29表1BasleracA2500-14gm型号工业相机参数5.拍摄参数设定为了提高图像处理速度并兼顾分辨率，选择的拍摄参数如下表：图像尺寸待定色彩待定ISO速度待定帧频待定记录频率待定2）软件介绍OpenCV的全称是：OpenSourceComputerVisionLibrary。OpenCV是一个基于（开源）发行的跨平台计算机视觉库，可以运行在Linux、Windows和MacOS操作系统上。它轻量级而且高效——由一系列C函数和少量C++类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法，它可以完成以下工作：1.图像数据操作（内存分配与释放，图像复制、设定和转换）2.图像/视频的输入输出（支持文件或摄像头的输入，图像/视频文件的输出）3.矩阵/向量数据操作及线性代数运算（矩阵乘积、矩阵方程求解、特征值、奇异值分解）支持多种动态数据结构（链表、队列、数据集、树、图）4.基本图像处理（去噪、边缘检测、角点检测、采样与插值、色彩变换、形态学处理、直方图、图像金字塔结构）5.结构分析（连通域/分支、轮廓处理、距离转换、图像矩、模板匹配、霍夫变换、多项式逼近、曲线拟合、椭圆拟合、狄劳尼三角化）6.摄像头定标（寻找和跟踪定标模式、参数定标、基本矩阵估计、单应矩阵估计、立体视觉匹配）7.运动分析（光流、动作分割、目标跟踪）8.目标识别（特征方法、HMM模