基于openCV的手势识别

基于openCV的手势识别答辩人:许译天outlineopenCV平台简介手势识别系统简介技术细节&我们的工作结论1.openCVopenCV是开源的计算机视觉库,由Intel开发维护的,包含常用的机器视觉,模式识别算法.(BSD许可证)CV图像处理,视觉MLL统计分类器GUI图像视频I/OcxCORE基本数据结构,算法2.1手势识别系统它通过摄像头采集到图像,分析图像的内容,识别出手的动作,指挥计算机做出各种反应2.2技术现状输入图像:近红外成像,双目立体视觉,普通图像静态识别动态识别手势分割肤色模型(色彩的聚类特征)轮廓边缘(canny检测)运动跟踪(差值图像分割,camshaft,卡尔曼跟踪预测,背景剪除法)手势建模图像属性(轮廓,图像矩,特征,直方图)运动序列(计算运动光流,抽取运动轨迹)特征匹配模板匹配法神经网络法隐马尔科夫模型法动态时间规划法3.1处理流程-概要手的提取模式识别控制输出1分割2建模1匹配3.2处理流程-详细原始图片尺寸调整均值漂移滤波分离HSV通道HSV塞选叠加降噪(开运算)二值化查找轮廓轮廓塞选手高光补偿4.分割–1.均值漂移滤波PyrMeanShiftFiltering4.分割–2.肤色模型HSV色彩模型:H:色相S:饱和度V:亮度手的区域:H(0-30),S(30-170),V(0-200)4.肤色模型—非线性,非凸性4.光照影响-开台灯4.光照影响-关台灯4.解决方法–高光补偿颜色塞选高光塞选合成1.7对比模型比较:YCrCb色彩模型二值化模型HSV色彩模型拉普拉斯变换模型5.建模–轮廓提取找到潜在的手后,可以有多种表示方法图像法直方图法轮廓法:就是二值化以后,查找边缘并用freeman链表示5.建模—查找轮廓外接框凸包freeman链(openCV库)5.建模–轮廓塞选去掉面积过小的区域去掉与窗口接壤的区域3.应用手势识别(测试成功)运动识别(测试成功)手的运动语义运动语义较为复杂,准备慢慢研究.6.特征匹配模板匹配法Hu矩算法(openCV库)载入模板图片提取模板的轮廓模板库当前手势轮廓计算匹配率分析结果3.1.3数据分析0.33.1.4模板3.2.1运动识别对于特定手势,识别手移动的方向获得速度方向信息,控制鼠标计算参考点消除震动影响方向和速度控制鼠标3.2.2震动消除3.2.3测试效果4.1系统的不足运算量大,系统反应较慢光线变化复杂,适应性差抖动较为严重不能分离手和胳膊4.3任务分配邬东东:色彩提取,光线适应梁汉辉:手的模板,及匹配周明旺:滤波,MFC融合许译天:框架设计,系统调整4.4总结现在有在手上戴辅助工具帮助加强识别的系统,但这样却限制了这门技术的推广应用.我们直接把原始的手作为提取对象,旨在研究一种通用的系统.经过这些研究测试,我们发现,对手的提取远比其他部位如脸,眼睛要复杂的多,因为光线是多变的,而且手是一个不断变化形状的对象,这些都给我们增加了困难.谢谢!