搜索
视觉识别和测距部分：虽然这次的任务以机器人的步态规划和姿态控制等为主，但要准确实现寻找并踢到乒乓球的目标，通过摄像头图像的视觉识别和测距也是非常重要的。一、功能和策略视觉部分的主要功能和策略包括：1、在初始姿态下寻找乒乓球，包括配合机器人的动作，如更换摄像头和转头来实现对超出当前视野范围的目标的寻找。2、通过颜色阈值识别乒乓球，计算乒乓球和机器人之间的距离和角度，传递数据给运动部分。3、在运动过程中对方向和距离进行多次测量和校正，不断修正运动误差，保证最终准确到达。4、到达目标位置后，通过对乒乓球位置的再次测量，选择机器人踢乒乓球所使用的脚。二、测距方案的选择1、双目测距双目测距的主要原理是利用位于不同空间位置，有重复的视角区域的两个摄像头同时进行拍摄。对得到的两张图片进行一定的校正和变换，识别出位于两张图片中的乒乓球，分别得到对应的参数。然后根据几何关系推导出乒乓球和机器人的距离。双目测距的精确度较高，但计算过程复杂，对图像的校正和变换处理要求高。对于nao机器人来说，双目测距还存在一个问题，即上下两个摄像头的重合区域较小，就可能导致可用测距范围小，对于寻找到乒乓球有一定的困难。此外考虑到这次任务对测距的精确度要求并不是那么高，而且可以通过一定的补偿方法来提高单目测距的精确度，为了程序的简便起见，我们决定采用单目测距的方法。2、单目测距单目测距的原理比较简单，如图所示：一般来说，就是根据图中的两个相似三角形的比例关系计算出距离Z。但是在实际操作中发现，对于摄像头的焦距f的获取存在很大的问题和误差。此外，由于摄像头的主光轴并不是水平的，用这种方法计算并不方便。所以我采用了另外一种类似的计算方法：如图所示，摄像头主光轴为蓝色虚线，与水平面之间的夹角为b。红色虚线为摄像头的视场边界，为47.64°，H为机器人高度。通过图像识别我们可以得到目标乒乓球的球心近似像素坐标（x，y），而图片总大小为640*480。这个方法的主要思路是图像中角度的比例和长度的比例近似相等，那么根据公式：disty=y-480/2a=disty*47.64/480即可得到a的角度大小。机器人头部也可能有俯仰角度，设为m（图中未标出），那么c=a+b+m，机器人与乒乓球的前向距离为d1=H/tan(c)此外，我们还需要计算乒乓球和机器人的侧向距离。abcHd1主光轴视场边界摄像头此为从机器人上方向下观察的视图。和之前的计算同理，摄像头水平方向的视场角为60.92°。b为机器人头部左右方向的偏航角。那么distx=x-640/2a=distx*60.92/640d2=d1/cos(a)d=d2*cos(a+b)S=d2*sin(a+b)由此就可以得到目标乒乓球相对于机器人躯干的前向和侧向距离。如果需要计算角度的话，只要求距离的反正切就可以了。这一部分数学计算的Python程序如下所示：d1d2dSab三、图像识别方法上文阐述了利用单目测距，在获得了目标乒乓球球心的像素坐标后如何计算机器人和乒乓球之间距离的方法。下面就来详细说明通过图像识别获得乒乓球球心坐标的具体办法。在本次任务中，我是通过识别乒乓球的颜色来实现定位乒乓球位置的目的的。即当乒乓球颜色与背景颜色相差较大时，设定需要的色彩阈值，就能过滤背景中的其他内容，只识别出目标乒乓球的形状。此外，利用Python编写图像识别程序，需要用到Opencv和PIL的相关功能。主要步骤：1、首先调用nao机器人内置的摄像头控制模块，对当前场景进行拍摄。由于在球距机器人较近时（约小于0.6m），机器人额头的摄像头无法看到，所以需要变换使用下巴部位的摄像头。在这段程序中我就额外添加了更改摄像头的语句，并通过设置cameraID来控制，0为额头摄像头，1为下巴摄像头。2、设定色彩阈值，识别乒乓球。第一步拍摄的图片保存为JPEG格式，色彩为RGB模式。在这一步利用Opencv命令读取图片后，可以将原来的三通道图像分别保存为三个单通道的图像进行处理。逐个对像素点进行检查，符合阈值范围的保存为1，不符合的为0，最终得到一张二值图，此时乒乓球即以空白区域显示，其他干扰的背景均为黑色。实际效果如下图所：该方法简单明了，运算速度较快，在光照良好，无明显干扰的情况下，设定准确的阈值范围，则识别可靠性较高。3、利用得到的二值图数据，可以计算出乒乓球的球心像素坐标。原理很简单，即遍历各行各列像素点的数值的合，最大的组合即为球心坐标。然后就可以利用得到的坐标数据，按照上文所述的办法去计算距离了。下面是将子函数综合起来的一次识别的程序：四、识别策略的优化和附加功能前面两部分介绍了图像识别和测距的最基础原理。除此之外，为了能够与机器人运行的实际情况相结合，并实现更为丰富的功能，还需要进行其他的程序设计。1、如上文所说，机器人默认使用额头部位的摄像头，但当乒乓球距离机器人较近，或超出水平视场范围时，则需要通过判断程序和机器人的动作来进一步找到球。其策略是，当额头摄像头无法找到目标时，先切换为下巴摄像头。然后再左转机器人头部，右转机器人头部。在这过程中，如果发现目标，则立即进行计算并输出距离。若始终未找到目标，则输出距离为0，等待下一步命令。2、当机器人移动到目标区域，即乒乓球前时，尚存在一定位置偏差。此时就需要判定乒乓球位于机器人前方哪一侧，再决定使用哪一只脚踢乒乓球。这一功能的实现和之前的视觉识别基本相同，只是改变了一下判断和输出条件。将输出结果提供给运动模块，然后实现指定动作。3、此外，还包括调用的机器人关节角的设定和读取模块：