答辩ppt----基于计算机视觉的手势识别技术

LOGO指导教师：论文题目：学院：专业：姓名：学号：基于计算机视觉的静态手势识别技术手势识别技术的研究背景手势识别技术的研究背景及意义随着计算机技术的飞速发展，人机交互技术成为了当前最热门的研究课题之一，并且人机交互技术正在从以计算机为中心逐步转移到以人为中心。由于人手的特殊性，所以在人类日常交际活动中发挥重要作用的手势，已经被当做一种最自然、直观而又易于学习的人机交互手段进行广泛研究。手势识别技术的发展历程基于数据手套的手势识别技术基于标记手的手势识别基于视觉的手势识别手势识别技术的研究背景及意义手势识别技术研究的意义手势识别的研究可以应用于计算机辅助哑语教学、电视节目双语播放、虚拟人的研究、电影制作中的特技处理、动画的制作、医疗研究、游戏娱乐等诸多方面，同时也有助于改善和提高聋哑人的生活学习和工作条件，为他们供更好的服务；另外，手势的研究涉及到教学、计算机图形学、机器人运动学、医学等多学科。因此，手势识别的研究是一个非常有意义的课题。静态手势识别的基本流程在RGB空间的手势图像分割出的手势二值图像在特征空间表示手势特征识别出的手势分割过程特征提取手势识别全文介绍本文主要研究内容手势图像预处理手势图像分割手势特征提取手势图像分类识别手势图像预处理图像的平滑空域平滑滤波：均值滤波法：用所选窗口的所有像素点的平均值来代替窗口中心点的灰度值。中值滤波法：把邻域中的图像的像素按灰度级排序后选择该组的中间值作为像素值。维纳滤波法：维纳滤波器是一种自适应滤波器，主要根据区域内的方差来调整滤波器输出图像锐化图像锐化就是补偿图像的轮廓，增强图像的边缘灰度有跳变的部分，使图像的边缘、轮廓线以及图像的细节变的清晰。手势图像预处理平滑滤波结果手势图像预处理图像锐化结果原始图像拉普拉斯滤波后的图像原始图像梯度锐化的图像手势图像分割色彩空间RGB色彩空间YCrCb彩色空间HSI色彩空间图像分割算法基于HSI色彩空间的分割算法H,S,I三分量之间的相关性较小，可由色调H和饱和度S完成独立于亮度的彩色区域分割。RGB空间图像转换到HIS空间经过多次试验确定色调和饱和度上下阈值根据阈值分类像素点手势图像分割基于YCrCb色彩空间的分割2551rRgGRGBbB利用以下两式进行色彩空间的转换，在转换后的YCrCb色彩空间中进行彩色阈值分割。0.2990.58700.11400.50000.41870.08131280.16870.33130.5000128YrgbCrrgbCbrgb基于改进的RGB色彩空间的分割算法利用传统的方法在RGB空间进行手势分割，需分别设定R、G、B三个分量的阈值。3RGBH由于亮度值为RGB三分量的平均(左式)，所以传统方法受光照影响较大。手势图像分割经大量研究发现，虽然RGB色彩模型易受光照影响，但是RGB三种色彩对应三分量的色差值却保持在一定的范围之，即受光照影响不大。所以本文的改进方法是基于三分量的色差的阈值分割。经过大量的测算，得出如下式的阈值适合于本次实验手的肤色。55.0)(&066.0)(RBGB以上阈值可以得到较为理想的分割手势下面对三种分割算法的分割效果进行分析比较手势图像分割分割出的手势图像分割前图像HSI空间彩色分割结果HSI空间二值分割结果YCrCb空间二值分割结果改进的RGB空间二值分割结果手势特征提取特征提取的目的降维，减小数据量特征提取算法基于小波变换的特征提取算法首先要对手势图像进行N级小波分解，得到3N+1幅子图像，然后利用含有高频成分的3N幅子图像，求得一个长度为3N的向量。基于Hu不变矩的图像特征提取Hu矩是一组经典的几何矩不变量，对图像旋转、比例和平移具有不变性。手势特征提取Hu矩组是图像中心矩前七个矩的函数，Hu将七个不变矩用作图像特征向量，Hu矩组反映了图像的本质属性。基于Bamieh不变矩的特征提取算法为了减少计算量，Bamieh提出了Bamieh不变矩，其特征矢量的大小比其他不变矩的要小很多，用以下四个量值作为特征提取时的特征量。21120021)(uuuBMI))((4)()(212302122112032122130032uuuuuuuuuuBMI22213310440334)(uuuuuBMI222042312134013223104224042)(uuuuuuuuuuuBMI手势特征提取实验结果及分析(a)(b)(c)(d)(e)(f)(a)原始图像128*128,(b)64*64图像,(c)256*256图像,(d)旋转30°,(e)旋转45°,(f)添加0.01的高斯噪声手势特征提取小波变换特征提取结果1w2w3w4w5w6w7w8w9w10w11w12w13w14w15w原始图像3.44143.13142.69202.74132.81023.30942.617364*643.45173.00742.79152.78322.81063.21872.6003256*2563.44873.07752.79432.72512.82233.29352.5607旋转30°3.46023.16922.78792.71922.88893.37452.5102旋转45°3.47623.09392.70432.68232.84613.49192.5132噪声图像3.40533.12602.70792.54232.81563.30352.40842.42582.59582.43193.50573.48593.12982.61432.82432.52312.59912.45903.47023.43333.05302.61102.91942.50172.53992.48013.47283.49543.09142.79932.82682.61622.53622.38743.66843.56393.16852.72632.81262.67712.54232.50393.62303.51943.15772.57032.74072.52232.33182.33103.51903.48893.13032.61262.8323手势特征提取Hu不变矩特征提取结果1234567原始图像1.47845.81677.24939.094519.69812.07917.02264*641.49415.63677.57638.300020.67711.43116.539256*2561.48165.79597.32158.995919.79111.70217.020旋转30°1.48255.74917.18398.308720.14210.80517.262旋转45°1.47235.94397.18508.306720.16210.80217.246噪声图像1.10314.97566.00757.567718.0369.600815.969手势特征提取Bamieh不变矩的特征提取结果1B2B3B原始图像4.438318.5404.57425.137764*644.402118.6254.54815.0463256*2564.410118.9234.51514.9781旋转30°4.407717.3784.64745.5888旋转45°4.407418.0775.65265.5505噪声图像4.303418.5484.43685.56104B手势特征提取三种手势特征提取方法的比较Hu不变矩的特征提取结果显示：不变矩满足大小和旋转不变性，但Hu不变矩提取的特征向量在有噪声存在时会发生较大变化；小波变换特征提取结果对噪声不太敏感，但是各个特征量之间差别较小，分类效果低。Bamieh不变矩特征提取结果：满足大小和旋转不变性，对噪声也不敏感。手势图像分类识别人工神经网络BP学习算法工作信号正向传播误差信号反向传播概率神经网络算法求和层输入层模式层输出层手势图像分类识别手势阿拉伯数字“1”期望值001001001001001BP算法结果0.013480.003930.978060.048420.210980.943720.105980.026930.999790.404590.159200.973670.307480.705720.66647手势阿拉伯数字“2”期望值010010010010010BP算法结果0.223400.998790.013710.009000.998050.904220.010240.940760.099870.181380.969260.082190.966070.986220.97746手势阿拉伯数字“3”期望值011011011011011BP算法结果0.098850.888210.877310.134410.913690.999850.372450.981170.943740.016220.865980.988810.092770.743370.86095手势阿拉伯数字“4”期望值100100100100100BP算法结果0.955910.147940.012890.945560.161940.0641520.958580.176820.101070.929880.252040.183110.881250.032620.09776手势阿拉伯数字“5”期望值101101101101101BP算法结果0.848280.0332810.986320.985080.317570.898300.809850.349960.845320.554320.886620.999700.098850.859920.99497手势图像分类识别Bamieh不变矩提取特征送入PNN网络的分类结果手势阿拉伯数字“1”期望值11111Pnn识别结果11111手势阿拉伯数字“2”期望值22222Pnn识别结果22314手势阿拉伯数字“3”期望值33333Pnn识别结果33333手势阿拉伯数字“4”期望值44444Pnn识别结果44444手势阿拉伯数字“5”期望值55555Pnn识别结果55555总结与展望本论文主要详细了解了目前基于计算机视觉的手势识别技术的整个识别流程，只是从理论方面进行了验证。相信在不久的将来基于计算机视觉的手势识别技术将会得到广泛应用！谢谢！结语首页