手势识别开题报告

基于手势识别的移动机器人控制研究硕士论文开题报告开题报告主要内容选题背景与研究现状研究内容与研究方案预期成果研究基础工作进度安排人-机器人交互方式：随着智能机器人技术的发展，自然的、符合人类习惯的人机交互方式逐渐成为人们研究的热点。选题背景与研究现状传统方式鼠标键盘手柄数据手套新型方式视觉语音力觉触觉这些在灵活性和实现精确控制方面存在限制符合人类交流习惯缺乏灵活性方便、直接、易于使用选题背景与研究现状国外：英国Essex大学通过识别人脸，比较当前人脸形状和模板人脸形状来估计人脸方向，从而控制智能轮椅。美国CMU机器人实验室实现了一种能够按人体手势及手臂动作做出简单动作的清扫机器人。2007年，Md.Al-AminBhuiyan等人研究的通过人脸及人脸角度控制机器人AIBO的动作或者姿势。2010年印度学者已经实现应用手势远程控制机器人的运动状态为前进、后退、左转、右转和停止五个状态。国内：天津大学研究了汉语语音识别系统并用来控制机器人。上海大学研究识别手势系统并将其成功地用于远程机器人控制系统。天津大学实现了依据操作者的体态动作图像信息控制机器人的状态。清华大学研究了一个手势识别系统，选择其中识别率较高的十种手势类别作为人机互动信号应用于电脑游戏中代替手柄。选题背景与研究现状人-机器人交互方式实例选题背景与研究现状语音方式：适应性差（语音学上的差异、生理上的差异及发音习惯的差异）、强噪声干扰环境下语音技术面临较大困难，很难将控制信号识别出来。视觉方式：手势、体态、人脸姿态手势适应性强，最为直观、方便、自然研究难点：手势本身具有多样性、多义性及时间和空间上的差异性；人手是复杂变形体；背景复杂时，很容易将非手势区域误认为手势区域，如何去除非手部分。研究内容•本课题以轮式移动机器人为实验平台，通过单个摄像头对手势进行识别，进而完成对移动机器人的运动状态控制。主要的研究内容可分为如下三个部分：（1）建立本课题手势模板库分为训练集和测试集两类，在VC++环境下调用OpenCV机器视觉库实现对模板库中不同背景下图片手势分割。（2）编写可视化软件界面，并根据手势轮廓、形状或者纹理等提取手势特征，应用模式识别分类方法实现对手势的分类及识别，并达到实时性，识别率达到95%以上。（3）应用移动机器人平台，选取手势模板库中识别率最高的七种手势作为移动机器人的运动状态控制信号，分别控制移动机器人的前进、后退、直线加速、直线减速、左转、右转和停止七种状态。在不同实验环境（如光照、背景）下，对系统进行整体调试。研究方案系统构成图摄像机手势分割特征分析手势识别移动机器人控制信号用户手势建模视频流手势描述模型参数移动机器人研究方案——手势模板库手势分割:把图像中的人手区域（前景）与其他区域（背景区域）划分开。基于肤色信息检测方法——主要步骤是颜色空间变换和肤色建模。研究方案——手势分割方法肤色建模方法阈值化（肤色范围）参数化（高斯密度函数估计）所需存储空间小需要考察所选颜色空间中肤色分布的形态学习速度快非参数化（统计直方图）皮肤纹理检测基于统计模型方法（局部二值模式，LBP）基于信号处理方法（傅里叶变换或者小波变换）简单易行选择合适的颜色空间需要大量统计样本需要存储空间大是一种表述灰度图像某像素点与周围像素点大小关系的二进制描述研究方案——特征提取方法手势特征:能刻画手势的本质特征，要求对目标的位移、旋转及尺度缩放具有不变性。全局几何特征变换域几何特征紧密度区域形状偏心率区域形状实心率矩函数小波描绘子傅里叶描述子对几何矩进行非线性组合，得到一组对于图像平移、旋转、尺度缩放都不变矩物体边界点集合，进行傅立叶变换形状特征面积研究方案——分类方法手势分类:通过特定的方法将提取的被识别对象的特征信息归为某一类别，从而实现手势识别。分类方法模板匹配方法基于统计理论方法欧式距离分类方法最大最小距离（Hausdorff距离）神经网络方法支持向量机（SVM）Boosting以及AdaBoost算法随着维数的增大，计算量会增大，准确度也会下降学习时间过长，甚至可能达不到学习的目的；体系结构通用性差；推广性差可能出现过分配避免过学习、维数灾难、局部极小等问题研究方案——控制部分UP-VoyagerIIA移动机器人硬件通讯层硬件信息控制操作传感器数据协议解析层行为层总线主控板超声传感器采集板电机驱动模块电子罗盘485总线……硬件信息控制指令控制指令软件硬件硬件通讯层完成软件与硬件之间的数据交互工作将硬件指令解析换算成控制算法中数据变量；调用控制函数生成对应的硬件控制指令UP-Voyager系统数据流第一步：获取手势图像，建立手势模板库，并分为训练集及测试集两个大类实验方案设计第二步：利用肤色信息和纹理特征完成手势分割第三步：利用不变矩和傅里叶描述子方法得到特征向量第四步：利用训练集应用支持向量机的方法进行训练，然后测试手势识别效果第五步：应用轮式移动机器人平台进行实验，验证手势识别的实时控制性能在VC++环境中编写程序，能够实时对采集的视频图像完成手势分割及特征提取；利用手势模板库应用支持向量机方法完成对手势特征的学习，实现对视频实时手势识别，达到“速度快，精度高”；在不同实际环境下，能够利用定义的手势控制移动机器人的七种运动状态；发表一至二篇EI学术论文。预期成果(1)本人对VC++运行环境和C++语言都有一定的基础；(2)本人曾学习过相关图像处理知识，写过相关图像处理程序；(3)实验室在图像处理方面的研究已取得相当多的积累与成绩；研究基础简单背景阈值分割手势利用傅里叶变换得到的相关特征参数：0.034551;0.070123;0.038968;0.042986;0.003900;0.017425;0.010688;0.007627;0.010348;0.007532;研究基础实验室已经具备条件：（1）计算机（2）轮式移动机器人（3）机器人控制器（4）数字CCD摄像机（5）开发软件进度安排2011年5月—2011年6月查阅资料，完成开题报告。2011年7月—2011年8月准备资料，学习相关知识，并建立相关手势库2011年9月—2012年3月通过编程完成对标准手势库的训练，初步实现手势识别，并通过实验提高识别率。2012年4月—2012年6月通过USB摄像头，完成实时手势识别。2012年7月—2012年9月在移动机器人平台上运行程序，实现对其运动状态的控制。2012年10月—2012年11月撰写毕业论文文稿。