第五章-智能机器人的视觉

机器人的视觉功能在于识别环境、理解人的意图并完成工作任务。机器人的视觉技术包括：给定图像的检测与跟踪、多目视觉与距离测量、时序图像检测运动并跟踪、主动视觉等。5智能机器人的视觉5.1机器视觉基础理论5.1.1理论体系(1)计算理论层是视觉信息处理的最高层次是抽象的计算理论层次，它回答系统各个部分的计算目的和计算策略。(2)表达与算法层是要进一步回答如何表达视觉系统各部分的输入、输出和内部的信息，以及实现计算理论所规定目标的算法。(3)硬件实现层要回答的是“如何用硬件实现各种算法”。机器视觉研究可以分为如下五大研究内容：1、低层视觉2、中层视觉3、高层视觉4、输入设备5、体系结构1.图像多义性不同形状的三维物体投影在图像平面上可能产生相同图像。不同形状的三维物体投影在图像平面上可能产生相同图像，如图所示。5.1.2关键问题2.环境因素影响照明、物体形状、表面颜色、摄像机以及空间关系变化都会对获取的图像有影响，几个立方体构成的多义性图像如图所示。3.知识导引同样的图像在不同的知识导引下，将会产生不同的识别结果。不同的知识导引也可能产生不同的空间关系。4.大数据灰度图像、彩色图像、高清图像、深度图像、图像序列的信息量会非常大，需要很大的存贮空间和计算处理能力。5.2成像几何基础成像系统即是将三维场景变换成二维灰度或彩色图像。这种变换可以用一个从三维空间到二维空间的映射来表示：),(),,(:23yxzyxRRf简单的三维图形获取过程如图所示。5.2.1基本术语1.投影平面几何投影的分类如图所示。2.投影中心3.投影线与投影面投影线投影面投影中心4.投影变换透视投影和平行投影分别如图所示。5.2.2透视投影1.透视现象2.透视投影成像模型图像平面F物体点（x,y,z）xyy'(x',y')zz5.2.3平行投影平行投影也称为正交投影，是指用平行于光轴的光将场景投射到图像平面上。5.2.4视觉系统坐标变换1.坐标系(1)像素坐标(2)图像平面坐标(3)摄象机坐标(4)场景坐标2.齐次坐标考虑对笛卡尔空间内点P分别进行旋转、平行移动、放大、缩小，对应的射影空间内P[p]→P’[p’]的变换操作可用4×4矩阵来作为P的齐次坐标的线性变换：p’=pTi式中P’[p’]表示P点变换后，对应在射影空间内的点。1)旋转变换空间内物体绕x、y、z轴旋转角度θ，对应的变换矩阵Ti可表示为：1000010000cossin00sincoszT10000cos0sin00100sin0cosyT10000cossin00sincos00001xT2)平移变换空间内物体在x、y、z方向平移（h，k，l），对应的变换矩阵Ti可表示为：1000010000101tThkl3)扩大、缩小变换空间内物体以原点为中心，在x、y、z轴方向扩大或者缩小mx、my、mz倍，或者全体的1/mw倍，则对应的变换矩阵Ti可表示为：000000000000xymzmmTmm三维空间中，以某一个视点为中心往二维平面上投影的过程称为透视变换。如图所示，这种将平面π上的图形投影到另一图像平面μ上这一过程称作“配景映射”。5.2.5射影变换三维空间的坐标系规定为现实世界坐标，称为实坐标或者世界坐标。三维空间中，三维物体的投影和图像化过程如图所示。5.3图像的获取和处理5.3.1成像模型成像系统的建模是建立摄像机成像面坐标与客观三维场景的对应关系。1.成像坐标变换1)图像坐标系摄像机采集的图像以MxN的二维数组存储的。如图所示，在图像上定义的直角坐标系中，坐标系原点位于图像的左上角，图像坐标系的坐标(u,v)是以像素为单位的坐标。2)成像平面坐标系若原点q在uv坐标系中的坐标为(u0,v0)，每一个像素在x轴与y轴方向上的物理尺寸为dx,dy，则图像中任意一个像素在两个坐标系下的坐标关系：0xuudx0yvvdy3)摄像机坐标系摄像机坐标系是以摄像机为中心制定的坐标系。摄像机成像几何关系如图所示：4)世界坐标系设三维空间中任意一点P在世界坐标系的齐次坐标为[xw,yw,zw,1]T，在摄像机坐标系下的齐次坐标为[xc,yc,zc,1]T，则摄像机坐标系与世界坐标系的关系：101111cwwcwwTcwwXXXYYYRtMZZZ2.摄像机小孔成像模型实际成像系统应采用透镜成像原理，物距u、透镜焦距f、象距v三者满足如下关系：vuf1113.摄像机非线性成像模型由于实际成像系统中存在着各种误差因素，如透镜像差和成像平面与光轴不垂直等，这样像点，光心和物点只同一条直线上的前提假设不再成立，这表明实际成像模型并不满足线性关系，而是一种非线性关系。尤其在使用广角镜头时，在远离图像中心处会有较大的畸变，如图所示。像点不再是点P和O的连线与图像平面的交点，而是有了一定的偏移，这种偏移实际上就是镜头畸变。4.摄像机的标定1)传统标定方法传统的标定方法采用一个标定块（高精度的几何物体）的精确数据与摄像机获得的标定块图像数据进行匹配，求取摄像机的内部参数。2)自标定方法相机自标定是指仅通过相机运动所获取的图像序列来标定内部参数，而不需要知道场景中物体的几何数据。5.3.2图像处理视觉传感系统图像处理的一般流程如图所示：图像预处理滤波去噪、灰度修正、图像增强、几何变换等图像分割边缘提取、二值化目标特征提取形成参数描述、建立模型矢量图像识别决策制定输入图像检测结果1.图像预处理图像预处理的目的就是增强图像，以便为后续过程做好准备。1）图像平滑2）图像灰度修正2.图像分割图像分割就是把图像分成各具特征的区域并提取出感兴趣目标的技术和过程，这里的特征可以是灰度、颜色、纹理等。图像分割可被粗略分为三类：(1)基于直方图的分割技术（阈值分割、聚类等）;(2)基于邻域的分割技术(边缘检测、区域增长);(3)基于物理性质的分割技术(利用光照特性和物体表面特征等)。3.特征提取特征提取就是提取目标的特征，也是图像分析的一个重点。最常见的图像特征包括：线段、区域和特征点。点特征提取主要是明显点，如角点，圆点等。4.图像识别根据预定的算法对图像进行图像识别，或区分出合格与不合格产品，或给出障碍物的分类，或给出定量的检测结果。5.4智能机器人的视觉传感器视觉传感器一般由图像采集单元、图像处理单元、图像处理软件、通信装置、I/O接口等构成，如图所示。图像传感器光学系统照明图像处理单元存储单元图像增强噪声处理图像分割特征提取物体识别参数估计通信接口I/O接口图像采集单元图像处理软件通讯接口单元5.4.1照明系统照明系统的主要任务是以恰当的方式将光线投射到被测物体上，从而突出被测特征部分的对比度。照明系统直接关系到检测图像的质量，并决定后续检测的复杂度。5.4.2光学镜头镜头是视觉传感系统中的重要组件，对成像质量有着关键性的作用。1．镜头的分类根据焦距能否调节，镜头可分为定焦距镜头和变焦距镜头两大类。2．镜头的选择方法镜头主要性能指标如下：1）最大像场2）清晰场3）有效场在选取镜头时，一般从以下几个方面入手进行考虑：1）相机CCD尺寸2）所需视场3）景深4）畸变3．特殊镜头针对一些特殊的应用要求，在设计机器视觉系统时，我们还可以选择一些特殊的光学镜头来改善检测系统的性能，常用的特殊镜头有：1）显微镜头2）远心镜头3）紫外镜头和红外镜头4．接口镜头与摄像机之间的接口有许多不同的类型，工业摄像机常用的包括C接口、CS接口、F接口、V接口等。5.4.3摄像机摄像机是机器视觉系统中的一个核心部件，其功能是将光信号转变成有序的电信号。摄像机以其小巧、可靠、清晰度高等特点在商用与工业领域都得到了广泛地使用。1.类型1)CCD摄像机和CMOS摄像机2)线阵式和面阵式摄像机2.摄像机的主要性能指标(1)分辨率(2)像素深度(3)最大帧率/行频(4)曝光方式和快门速度(5)像元尺寸(6)光谱响应特性5.4.4图像处理器一般嵌入式系统可以采用的处理器类型有：专用集成电路（ASIC）、数字信号处理器（DSP）及现场可编程逻辑阵列（FPGA）智能相机中最常用的处理器是DSP和FPGA。5.5智能机器人视觉系统5.5.1智能机器人视觉系统构成人眼的深度感知能力（DepthPerception），主要依靠人眼的如下几种机能：(1)双目视差(2)运动视差(3)眼睛的适应性调节(4)视差图像在人脑的融合(5)其它因素。立体视觉系统可以划分为以下六个模块：1.图像采集2.摄像机标定3.特征提取4.立体匹配5.三维重建6.机器人视觉伺服5.5.2单目视觉单目测距原理：焦距为f的CCD摄像机距离地面的高度为h，其俯仰角度为；O0是镜头中心；O(x0,y0)是光轴与像平面的交点，可作为像平面坐标系原点；R为目标物体，假设被测点为P，它与镜头中心的水平距离为d；P’(x,y)是被测点P在像平面上的投影，如下图所示。αfHβPhdRαγγOoO（xo,yo）P`(x,y)yx光轴国际仿人机器人奥林匹克竞赛高尔夫比赛项目示意图如图所示，机器人配备了一只CMOS摄像头。根据上述原理，可以通过二维图像获取深度信息。具体步骤如下：(1)通过摄像机标定来获取摄像机的参数；(2)实时获取摄像机的俯仰角；(3)选取目标物体的目标像素点。(4)通过正运动学原理建模获取机器人当前的摄像头的实时高度；(5)计算距离。5.5.3立体视觉1.平行式立体视觉模型最简单的摄像机配置，如图所示。在水平方向平行地放置一对相同的摄像机，其中基线距B=两摄像机的投影中心连线的距离，摄像机焦距为f。前方空间内的点，分别在“左眼”和“右眼”成像，它们的图像坐标分别为，。。(,,)cccPxyz(,)leftleftleftpXY(,)rightrightrightpXY左图像右图像左像机光轴右像机光轴基线距BYY(,,)cccPxyzleftXrightX1)几何关系现两摄像机的图像在同一个平面上，则特征点P的图像坐标Y坐标相同，即，则由三角几何关系得到：leftrightYYY()cleftccrightcccxXfzxBXfzyYfz2)性能分析双目立体成像的视场关系如下图所示。3)立体视觉测量过程立体视觉的测量过程如下：(1)图像获取(2)相机标定(3)图像预处理和特征提取(4)立体匹配(5)深度确定4)立体视觉的关键技术视差本身的计算是立体视觉中最困难的一步工作，它涉及模型分析、摄像机标定、图像处理、特征选取及特征匹配等过程。特征匹配的本质就是给定一幅图像中的一点，寻找另一幅图像中的对应点。它是双目立体视觉中最关键、最困难的一步。2.汇聚式立体视觉模型一般情况下，汇聚式立体视觉采用如图所示的任意放置的两个摄像机来组成双目立体视觉系统。3.多目立体视觉模型多个摄像机设置于多个视点，观测三维对象的视觉传感系统称为多目视觉传感系统。多目视觉传感系统能够在一定程度上弥补双目视感系统的技术缺陷，获取了更多的信息，增加了几何约束条件，减少了视觉中立体匹配的难度，但结构上的复杂性也引入了测量误差，降低了测量效率。5.5.4主动视觉与被动视觉1.被动视觉视觉系统接收来自场景发射或反射的光能量，形成有关场景光能量分布函数，即灰度图像，然后在这些图像的基础上恢复场景的深度信息。最一般的方法是使用两个相隔一定距离的摄像机同时获取场景图像来生成深度图。另一种方法是一个摄象机在不同空间位置上获取两幅或两幅以上图像，通过多幅图像的灰度信息和成象几何来生成深度图。2.主动视觉主动视觉强调以下两点：(1)视觉系统应具有主动感知的能力(2)视觉系统应基于一定的任务或目的。5.5.5移动机器人系统实例1.双目视觉实例基于双目视觉的移动机器人系统框架图如图所示。图中系统主要分为计算机视觉和机器人控制两部分。云台转动控制