基于计算机视觉的多点触摸系统的设计与实现

上海大学硕士学位论文基于计算机视觉的多点触摸系统的设计与实现姓名：李谦升申请学位级别：硕士专业：设计艺术学（数码交互艺术研究）指导教师：汪大伟20080401基于计算机视觉的多点触摸系统的设计与实现作者：李谦升学位授予单位：上海大学相似文献(10条)1.学位论文段晓东面向人机交互的复杂场景举手动作视觉检测2009随着各种计算机系统的广泛应用，人机交互在人类的生活中起着越来越重要的作用，人机交互也从原始的纸带键盘等输入手段，变得越来越智能和人性化。而随着计算机硬件性能的不断提高以及计算机视觉的不断发展，使得基于计算机视觉的人机交互技术成为可能。计算机视觉通过摄像机和软件算法，模拟人眼观察世界和大脑理解世界的能力，因此其可以令人机交互更加人性化，使人觉得同机器交流与同人交流一样自然。br　　本文适应这方面的发展趋势，提出了一种面向人机交互的举手动作视觉检测技术，利用该技术计算机可以通过摄像机在有多人运动的复杂场景中发现举手动作，进而将注意力转移到举手人区域，达到人机交互的目的。为了在多人运动中检测举手动作，本文采用在图像中科用举起手臂的形状和边缘特征检索举起手臂区域的方法进行举手检测，而不是对举手整个动作进行建模检测。这样可以解决由人体举手多样性以及运动和人与人之间的影响所带来的河题。文章首先介绍了基于二值形状特征的剪影分析举手检测方法，主要包括：背景减除、区域划分、CR查找、二值图像形状特征提取和分类5个部分。然后，针对二值形状特征的局限性，文章提出了融合边缘线索的剪影分析举手检测方法，并提出了基于边缘线索的摄像机移动情况下的举手检测方法，主要包括训练和检测两个部分。文章最后通过实验证明了通过搜索举起手臂的方法进行举手检测是可行的。2.学位论文李娜面向人机交互的单目视频三维人体姿态估计研究2008自动理解图像或者视频序列中的运动人体，一直是计算机视觉研究的重点。除了人类对通过机器探索和仿造自身的兴趣外，促使其成为研究热点的一个重要原因是电子设备的迅猛发展和由其带来的巨大应用市场。本文针对人机交互应用，着重研究单目视频下三维人体姿态估计。单目视频三维人体姿态估计是计算机视觉研究中最具挑战性的问题之一。系统的观测输入为复杂自然图像，状态输出为高维人体姿态，由观测到状态的系统过程是动态且非线性的。此外，面向人机交互应用时，单目视频三维人体姿态估计系统的核心算法需同时满足准确、鲁棒和实时性要求，系统初始化过程应尽可能自动化.针对以上问题，本文依照模块分别展开研究，并将各部分算法集成至人机交互原型系统，从而实现基于单目视频三维人体姿态估计的人机交互.本文将单目视频三维人体姿态估计研究划分为三部分关键技术：图像特征提取、人体姿态估计算法以及初始化过程的自动化。其中，图像特征提取研究针对普通低端摄像设备，提出了基于HSV色彩空间的图像特征提取算法，通过采用与人眼视觉感知一致的HSV空间提高图像特征提取的有效性和鲁棒性。针对人体姿态估计算法，本文提出了判别模型和生成模型相结合的三维人体姿态估计数学模型。通过判别模型确定目标姿态的子空间。进而通过生成模型求解目标姿态，充分发挥了判别式模型和生成式模型各自的优势。针对系统初始化过程，本文重点介绍了手工分割视频对象的框架和评价标准，为用户辅助采集训练数据提供便利，减少用户在系统初始化过程中的交互工作量.根据以上核心算法设计，本文自行开发了基于肢体运动控制的新式人机交互实时系统。为验证系统的有效性，本文进一步开发了一款使用普通网络摄像头交互的简易游戏，为探讨基于人体运动的人机交互设计方法建立了实验平台。通过该平台，本文进行大量用户测试，并探讨这种新型人机交互在全新设计环境下面临的问题和机遇。测试结果表明了本文所提出的单目三维人体姿态估计系统的有效性，同时展示了此类基于人体运动的新型交互系统的独特魅力和广阔应用前景。3.学位论文陈卫国基于计算机视觉的手势识别研究2009随着计算机应用的普及，传统的人机交互方式（如键盘和鼠标）阻碍了计算机智能化的发展。如何让人能与机器进行更自然更人性化的交流，成为应用领域的研究新热点。其中，由于图像处理、模式识别、智能计算等相关领域的技术发展，基于机器视觉的交互方式得到重视，并开始产生应用需求。br　　本文综合应用计算机视觉、数字图像处理、人工神经网络等学科的背景知识，从手势图像的获取、图像的预处理、到最终的手势识别分类器设计等方面研究了基于计算机视觉的手势识别的过程和方法。其主要内容包括：br　　（1）通过基于高斯模型的肤色算法，手势能够从简单背景图片中有效的提取。br　　（2）在图像的预处理阶段，运用了数字图像处理的方法，以去掉干扰的噪音，最后得到纯粹的手势图像。br　　（3）在特征提取环节，讨论了图像形状特征的计算方法，并选择图像的几何矩来获得手势图像的特征。br　　（4）在分类器的设计过程中，选择人工神经网络技术对我们研究的手势样本进行了识别分析。br　　实验的结果证明了我们的方法是行之有效的，同时本研究也为进一步研究动态手势识别的工作提供了重要的前期准备工作和相关的理论基础。4.学位论文钟旭基于计算机视觉的人机交互技术研究与应用2006感知人机界面(PerceptualInterfaces)是未来人机交互的发展趋势，其中基于机器视觉的人机界面(VisionBasedInterfaces)技术也受到越来越多研究人员的重视。实现VBI的关键在于对人体动作的准确快速识别，但人运动的视觉分析作为计算机视觉研究的一个热点和难点，仍然有许多理论和技术问题需要解决。本文主要研究了二维空间中的运动图像序列中人体运动的识别和理解，包括输入图像的预处理、人体的几何和运动模型描述以及二维空间中人体简单动作的识别和理解。本文的主要研究内容和创新点可以归结如下几点：1.针对基于色彩空间的肤色检测方法随光照条件不同阈值变化很大不具有自适应功能的缺点，本文在B-P神经网络模型的基础上，构造了一个基于模糊模式的神经网络肤色滤波器。该滤波器具有学习速度快、可适用于较广范围的光照条件等特点，实验表明其可应用于复杂环境下的手势图像检测。2.研究了人体运动的约束和限制，提出了一种利用颜色特征点的自动标注方法，解决了运动的快速跟踪问题。提出了一种新的背景建模方法，有效解决了因环境改变而引起背景改变所带来的问题。基于骨架模型不可能超出人体轮廓这样一个常识，提出了一种新的快速人体运动骨架模型的抽取方法，实验表明该方法快速有效。3.提出了一种新的运动模式描述方法：三层运动描述方法，从而给运动模式的快速、准确、精确识别奠定了好的基础。介绍了两种模式识别方法：基于区域和边缘的姿势评价函数和基于HMM的模式识别。着重分析了HMM方法，并在三层运动描述方法基础上提出了一种新的基于HMM的运动识别方法，实验证明该法切实可行。4.设计并实现了一个幼儿教育游戏系统原型，分析了该原型系统开发的背景及意义，介绍了该系统的建立所需要的三个阶段和图形开发使用的ogre引擎和OpenCV。最后给出了系统的一些效果图。5.期刊论文莫锦秋.周晓军.MOJinqiu.ZHOUXiaojun计算机泛视觉体系下的人机交互功能特征-中国机械工程2000,11(5)从计算机泛视觉理论的基本学术思想出发,给出了计算机泛视觉体系下人机交互的功能特征,即其丰富的可视化融合方式,以及在人机交互过程中所实现的主动性和渐进性.6.学位论文陈燕玲手形识别在人机交互中的应用研究2008近年来，计算机与人类日常生活联系越来越紧密，新的硬件和应用领域不断涌现，然而人机交流方式仍然局限于键盘、鼠标及光笔等，这些交互方式虽然越来越熟悉，但它们限制了人机交流的速度和方便性。因而，基于视觉的手形识别逐渐成为人机交互的研究热点，在计算机游戏、机器人控制和家用电器控制等方面具有广阔的应用前景。对手形识别技术的研究也成为当今计算机视觉领域、模式识别领域、数字信号处理领域的一个重要研究方向。本课题的主要研究目的是为用户提供一种更直观和自然的类键盘输入方式，使用户可以使用简便的交互设备作为人机接口操纵计算机。研究成果主要应用在数控系统的开放式控制面板上。本文主要研究了手形识别的实现，即通过4个手指的伸缩状态来定义计算机指令。以PC机标准键盘上12个字符：0-9数字以及小数点、回车为例进行仿真，从手形图像的预处理、特征提取和识别等三个方面研究了手形识别算法。在特征提取方面，与以往提取手形的重心和指尖、指根的算法相比，本文提出了一种手形特征提取算法，通过小手指外边缘作拟合直线。然后沿它的垂线方向扫描来确定食指、中指、无名指、小手指4个手指指尖的相对位置。最终能够计算出食指、无名指和小手指这3个手指相对中指的伸缩状态。在识别算法方面，以往的研究工作大多数是先建立好手形样本模板库，然后采用基于匹配的识别技术，利用手形分析中提取的特征参数与手形样本模板库进行匹配来完成识别。本文把最小错误率的贝叶斯决策规则作为分类器设计准则。整个算法在Matlab6.5环境下实现。使用摄像头采集了60个手形图像样本进行分析，正确识别率可达85％。实验表明本文提出的手形图像识别技术是行之有效的。7.学位论文孙涵基于PCA重建方法的表情识别方法研究2008情感计算是国际上近几年刚刚兴起的、试图使计算机能够像人类那样具有理解和表达情感能力的一个多学科交叉的新研究领域，在智能人机交互中起着重要作用。由于人的面部表情是情绪重要的外在表现方式，所以人脸表情识别成为情感计算的重要组成部分。人脸表情识别是一个人工智能、计算机视觉、图像处理、心理学、认知学等多学科交叉的研究领域。通过表情识别的研究可以有效地促进人机交互系统的发展和计算机图像自动理解的研究。本文的研究重点是对于静态图像的表情识别方法。在分析和学习了一些常用的表情识别技术的基础上，本文提出了一种新的表情识别的方法，该方法以表情识别中经典方法--PCA算法为算法基础，是一种基于PCA重建方法的表情识别方法。该方法的总体思想是将表情识别的训练集按表情分类形成不同表情子集，然后在子集上进行PCA算法，分别得到对应的正交基。对于待测图像，在不同表情子集生成的正交基上分别进行投影，之后利用投影坐标重建，然后通过比较待测图像与哪幅重建图像最相似来确定待测图像的表情识别结果。对于比较图像相似，本文提出了两种方法--差值和方法和相似点数方法，分别对其效果进行了实验，然后通过使用区分度的概念将两种方法结合起来，成为最终的比较图像相似进行表情分类的方法。本文对该方法与传统PCA+神经网络分类器的识别方法在日本表情数据库上进行了对比实验，该方法得到了优于传统方法的识别率。8.学位论文胡文娟手势驱动编钟演奏技术的研究与系统实现2007中华民族历史悠久，拥有丰富的非物质文化遗产。对这些非物质文化遗产的保护与传承通常需要近距离的接触历史文物，然而，文物保护的需要限制了文化传承的方式，这也使得一种新的交互方式的出现成为必然。因此，以计算机手势识别技术为代表的自然人机交互技术逐渐的成为该领域研究的热点。本论文通过深入研究自然人机交互中的手势识别技术，提出将自然人机交互技术与非物质文化遗产保护相结合，利用基于计算机视觉的手势在三维环境中弹奏编钟，成功地解决了非物质文化遗产保护中珍稀古文物不可直接用于宣传普及的矛盾，丰富了非物质文化遗产保护与传承的方式，具有一定的实用性以及可扩展性。文中首先对几种常见的计算机手势识别技术进行分析比较，并选择最适于系统实现的基于计算机视觉的手势识别技术作为研究重点。然后，针对手势识别过程中会遇到的无效距离的问题给出相应的解决方法——利用基于计算机视觉的立体距离测量法筛选无效距离以优化实现效果，并给出距离测量公式的推导过程。基于计算机视觉的手势识别技术在实现中需要通过手势建模、手势分割以及特征参数提取几个阶段的操作以实现用户手势的实时识别。其中，手势分割是计算机手势识别技术的核心，论文详细论述了手势分割前期的手势定位操作以及依据肤色阈值从图像的HSV色彩空间中划分出人体所在区域的方法，并给出一个利用Freeman链法则进行边缘跟