机器人手眼协调研究读书报告

机器人手眼协调研究读书报告指导老师：张明路教授教授汇报人:邓洁平报告内容手眼协调系统的发展手眼协调系统的发展：利用视觉信息控制机器人的历史可以追溯到1963年由Stanford大学wichman提出的以获得视频流作为输入信息对机器人进行运动控制的方法,他的这个思想后来被认为是机器人视觉控制的雏形。开环：lookthenmove视觉信息处理和机器人的运动是独立分开的两个串行的任务。闭环：利用视觉信息反馈控制机器人的研究模型,成功的以视觉反馈引导机器人开环与闭环的比较比较开环：精度难以控制，且对先验知识依赖度高闭环：克服了开环的缺点但是要求机器人末端操作器始终可以在视觉场景中观测到视觉伺服控制方法1.基于位置的视觉伺服控制（三维视觉）利用摄像机的参数来建立图像信号与机器人的位置/姿态信息之间的映射,然后在伺服过程中,借助于图像信号来提取机器人的位置/姿态信息,并将它们与给定位姿进行比较,形成闭环反馈控制。视觉伺服控制方法给定位姿三维视觉控制器机器人对象照相机图像处理环节照相机逆映射控制信号位姿信号图像信号二维信号当前位姿基于位置的视觉伺服基本结构视觉伺服控制方法1.基于图像的视觉伺服控制（二维视觉）与三维视觉伺服不同,基于图像的视觉伺服将实时测量得到的图像信号与给定图像信号直接进行在线比较,然后利用所获得的图像误差进行反馈来形成闭环控制。视觉伺服控制方法给定图像二维视觉控制器机器人对象照相机图像处理环节控制信号位姿信号图像信号当前图像基于图像的视觉伺服基本结构视觉伺服系统方法1.基于位置的视觉伺服控制精度取决于摄像机的参数准确性以及图像的噪声，无法保证机器人或者参考物体始终位于摄像机的视野之内2.基于图像的视觉伺服控制对于摄像机模型的偏差具有较强的鲁棒性,通常也能较好地保证机器人或参考物体位于摄像机的视野之内,但是在设计视觉伺服控制器时,这种方法又不可避免地遇到了图像雅可比矩阵Js的奇异性以及局部极小等问题T=Js(s-s*)视觉伺服系统方法3.2.5维视觉伺服控制考虑到以上2种视觉伺服方法的局限性,法国机器人视觉控制专家F.Chaumette等人提出了2.5维视觉伺服。它将摄像机平动位移(V)与旋转(O)的闭环控制解耦,根据从图像中提取出来的特征点,重构物体3D空间中的方位及成像深度比率,平动部分用图像平面上的特征点坐标表示。视觉伺服系统方法位置控制律旋转控制律关节控制器机器人摄像机特征提取单应性矩阵分解旋转分量位置分量期望位置期望转角视觉伺服过程机器人执行伸手抓取操作的视觉伺服过程被分成5步:•搜索•接近目标•粗对准•精对准•抓取视觉伺服过程搜索.头部左右和上下转动来搜索定位目标物体,摄像头获取物体的位置信息.接近目标.控制本体从远处步行靠近目标物体,然后静止站立在物体前面.视觉伺服过程粗对准.利用视觉前馈和基于表格的逆运动学算法控制机器人手运动到视觉区域内3维位置估计特征提取观测目标基于表格的机器人运动求解路径规划关节传感器机器人控制关节器关节空间坐标关节运动轨迹关节位置直角坐标系基于视觉前馈的视觉伺服控制流程视觉伺服过程神经网络中机器人视觉前馈控制机器人视觉前馈控制主要包括视觉深度估计和基于内部模型学习的前馈控制等过程。建立基于神经网络和强化学习的视觉一运动映射学习模型,将视觉信息和机器人动作对应起来,通过在线学习来逼近这个非线性映射,将机器人速度输出作为前馈控制发送的运动指令“视觉伺服过程精对准：同时测量机器人的手部和目标物体的三维信息,以手部mark中心和目标质心之间的距离作为控制量,利用PD算法采用视觉反馈实现末端执行器和目标物体的精对准.笛卡尔空间控制策略雅克比逆矩阵关节控制器机器人图像特征提取位姿估计目标位置摄像机基于位置的视觉伺服过程视觉伺服过程机器人视觉反馈控制视觉反馈控制的必要条件就是目标物体和机器人本体特征同时存在于视觉范围之内双目视差的机械手平移型视觉反馈控制国家精品课程网上资源的可用性研究/***双目视觉控制研究目标目标选择位置估计内部模型视觉前馈期望轨迹视觉前馈控制视差估计选择器LS输入视觉反馈机器人本体感知处理视觉信息处理腹侧通路连续间断高低摄像机国家精品课程网上资源的可用性研究/***关键问题目标物体的识别边缘提取算子的研究与选择1.利用图像中目标物体边缘轮廓与背景色彩上的突变。可以根据laplace算子，sobel算子，canny算子提取图像的轮廓信息。2.利用特征几何形状模板对机器人本体进行描述关键问题视觉测量主要途径包括:1)直接在图像平面上进行测量,利用光流检测和图像差分等技术;2)利用摄像机参数和其它先验知识(例如物体的几何模型)对物体的姿态进行计算,所采用的技术主要取决于摄像机数目!机械手一摄像机配置情况!标定的精确程度和场景先验知识的多寡等因素国家精品课程网上资源的可用性研究/***视觉深度信息为了通过二维像平面上一点来确定物体在三维空间中的关系必须有附加的信息，主要包括：多个视图，目标物体上多个特征点之间的几何关系。国家精品课程网上资源的可用性研究/***关键问题视觉控制经典控制方法有PID方法、极点配置方法。现代控制方法有最优控制方法、自适应控制方法等。模糊逻辑和神经网络为代表的智能控制方法也广泛应用于机器人视觉伺服控制。国家精品课程网上资源的可用性研究/***关键问题视觉运动规划势场导航函数国家精品课程网上资源的可用性研究/***关键问题视觉伺服系统的稳定性将非线性控制理论应用于机器人视觉伺服系统,分别采用自应控制和鲁棒控制等方法来提高机器人视觉伺服系统对于这些不确定因素的适应能力.