混合现实(MR)与虚拟现实(VR)

第6章混合现实•6.1混合现实的概念•6.2混合现实（MR）与虚拟现实（VR）的关系•6.3混合现实的交互技术6.1混合现实的概念•混合现实是一种使真实世界和虚拟物体在同一视觉空间中显示和交互的计算机虚拟现实技术。加拿大多伦多大学工业工程系的PaulMilgram对混合现实（MixedReality，MR）的定义是：真实世界和虚拟世界在一个显示设备中同时呈现。也有学者认为：“现代意义上的‘混合现实’是不同类型的现实（主要是指真实现实与虚拟现实）的彼此混合。将计算机所生成的虚拟对象融合到真实的环境当中，从而建立出一个新的环境及符合一般视觉上所认知的虚拟影像，在这之中，现实世界中的物件能够与虚拟世界中的物件共同存在并且即时地产生互动。”返回6.2混合现实（MR）与虚拟现实（VR）的关系•现实与虚拟两部分构成了混合现实，其中用户与虚拟世界的联结是虚拟部分关心的内容。因此，涉及两个方面的内部，即虚拟世界的构建与呈现、人与虚拟世界的交互。所看到的虚拟世界是与人类感官直接联结的，因此，要构造完美的虚拟世界必须通过建立与人类感官匹配的自然通道。虚拟世界的呈现，音响效果的营造，触觉、力觉等各种知觉感知和反馈要通过真实感渲染得到。因此，用户与虚拟世界的交互必须建立相同的知觉通道，通过分析用户的自然行为，在感知、理解、响应和呈现上形成环路，这是虚拟现实技术的核心内容。下一页返回6.2混合现实（MR）与虚拟现实（VR）的关系•由于对现实世界的模拟本身非常困难，因此混合现实没有对复杂多变的现实世界进行实时模拟，其建立的是虚拟世界与现实世界的联结，并模拟二者的相互影响。而要使虚拟世界与现实世界融为一体，技术上的诸多挑战不仅要感知用户的主体行为，还要感知一切现实世界中有关联的人、环境甚至事件语义，提供恰当的交互和反馈。因此，混合现实涉及了从计算机视觉、计算机图形学、模式识别到光学、电子、材料等多个学科领域。正是由于混合现实与现实世界的紧密联系，才使其具备强大且广泛的实用价值。上一页下一页返回6.2混合现实（MR）与虚拟现实（VR）的关系•混合现实技术是虚拟世界与现实世界无缝融合的技术。虚拟现实代表的是计算机营造的世界，使人类的知觉感知延展到计算机中；而混合现实技术在保持对现实世界正常感知的基础上，通过建立虚拟世界与现实世界之间的联系，再将人类感官延伸到虚拟世界。混合现实技术中所关注的虚拟世界可以有丰富的内容。从早期的虚拟现实世界的局部场景，与现实世界无缝融合，使得我们可以看到匪夷所思的场景，典型的是电影《阿凡达》呈现的世界。然而，计算机的强大能力不仅在于对场景的营造能力，还在于对信息搜集、数据整理和分析呈现的能力。在信息爆炸的时代，信息容量和复杂度远远超过人类所能够的范围，在宏观上把握信息的内涵，提供对数据蕴涵的语义分析，才有可能使人类理解数据。混合现实技术可以在数据分析的基础上建立用户与数据的联结，从而使得用户可以直接感知数据分析的结果，将人类感知延展到数据语义层面。上一页下一页返回6.2混合现实（MR）与虚拟现实（VR）的关系•混合现实技术包含虚拟世界和现实世界。在需要虚拟现实技术支持的同时，也需要增强现实技术的支持。虚拟现实技术的第一个核心问题是对虚拟世界的建模，包括模拟现实世界的模型或人工设计的模型；对现实世界模型的模拟，即场景重建技术。虚拟现实的第二个问题是将观察者知觉与虚拟世界的空间注册，满足视觉沉浸感的呈现技术；第三个问题是提供与人类感知通道一致的交互技术，即感知和反馈技术。增强现实技术在虚拟现实技术的基础上，还需要将现实世界与虚拟世界进行注册，并且感知真实世界发生的状况、动态，搜集真实世界的数据，进行数据分析和语义分析，并对其进行响应。因此，混合现实的虚实融合分析三个层面，即虚实世界产生智能上的交互融合；虚实世界产生社会学意义上的交互融合，如行人互相避让的行为；虚实空间产生视觉上的交互影响。上一页返回6.3混合现实的交互技术•6.3.1用户界面形态•新型交互技术和设备的出现，使人机界面不断向着更高效、更自然的方向发展。在混合现实中使用较多的用户界面形态包括TUI、触控用户界面、3DUI、多通道用户界面和混合用户界面。•（1）TUI是目前在混合现实领域应用最多的交互方式。它支持用户直接使用现实世界中的物体与计算机进行交互。无论是在虚拟环境中使用现实物体辅助交互（AV），还是在虚拟环境中加入辅助的虚拟信息（AR），在这种交互方式下都显得非常自然并对用户具有吸引力。下一页返回6.3混合现实的交互技术•（2）触控用户界面是在GUI的基础上，以触觉感知为主要指点技术的交互技术。在混合现实中，一种比较自然的方式是直接用手通过屏幕与虚实物体交互。手机、平板电脑等移动设备及透明触屏都提供了这种支持，这使得直接触控成为混合现实中主要的交互方式之一。•（3）在3DUI中，用户与计算机进行交互是在一个虚拟或现实的3D空间中进行的。3DUI是从虚拟现实技术中衍生而来的交互技术，它可以支持在纯虚拟环境中进行物体获取、观察世界、地形漫游、搜索与导航。在混合现实环境中，这种交互需求是大量存在的，因此，3DUI是混合现实中重要的交互手段之一。上一页下一页返回6.3混合现实的交互技术•（4）在混合现实中的许多应用都利用了多通道交互技术。多通道用户界面支持用户通过多种通道与计算机进行交互。这些通道包括不同的输入工具（如文字、语音、手势等）和不同的人类感知通道（听觉、视觉、嗅觉等）。在这种交互方式中通常需要维持不同通道间的一致性。•（5）混合用户界面为用户提供更为灵活的交互平台，它将不同但相互补足的用户界面进行组合，用户通过多种不同的交互设备进行交互，以满足多样化的日常交互行为。上一页下一页返回6.3混合现实的交互技术•6.3.2交互对象的虚实融合•1．注册跟踪技术•在增强现实中，如果用户改变自身位置和观察角度，被观察的虚拟物体就能实时融洽地与现实场景保持一致。要达到此种效果，在增强现实中必须明确观察者和虚拟物体在现实环境中的准确位置和姿态。设计者一般会事先决定虚拟物体在现实环境中的位置，因此，只要注意观察者的位置和姿态，就可以根据观察者的实时视角重建坐标系，计算出虚拟物体的显示姿态，实现交互对象的虚实融合。这个过程是三维注册过程，其实现方法一般分为基于传感器的注册技术、基于视觉的注册技术和混合注册技术三种。上一页下一页返回6.3混合现实的交互技术•2．显示设备•显示设备要解决的问题是让用户简单、便捷地观察到虚实融合的场景。在AV中，由于场景的主体是虚拟的，其方位可以由系统唯一确定，因此，可以直接使用传统显示设备来呈现虚实融合场景。而在AR中，场景是用户直接观察到的现实世界，技术上一般采用头戴式显示设备（HMD）、手持式显示设备和投影式显示设备来实现。其中，HMD包括光学透视型和视频透视型两种。光学透视型显示设备是通过透明屏幕直接观察现实世界，视频透视型显示设备是用头戴式摄像机采集现实世界视频作为背景投影到显示器上。手持式显示设备（如手机、平板电脑）一般采用视频透视技术，利用设备上的摄像头采集现实世界的图像。投影式显示设备利用各种投影仪将图像直接投影到墙壁、桌面、物理实体等现实世界的物体中，从而在这些物体上叠加虚拟信息。上一页下一页返回6.3混合现实的交互技术•6.3.3手势识别技术•混合现实中使用的手势识别技术可以按照输入设备分为基于传感器和基于计算机视觉两种。基于传感器的手势识别技术利用不同的硬件设备（如数据手套、运动传感器），跟踪返回人手以及手部各骨骼所在的三维坐标，从而测量手势在三维空间中的位置信息和手指等关节的运动信息。这种系统可以直接获得人手在三维空间中的坐标和手指运动的参数，数据的精确度高，可识别的手势多且辨识率高，但需要佩戴额外的设备。基于计算机视觉的手势识别技术利用单个或多个摄像头来采集手势信息，经计算机系统分析获取图像来识别手势。该技术使学习和使用简单灵活，更自然、直接地进行人机交互，但计算过程较复杂，识别率和实时性较差。上一页下一页返回6.3混合现实的交互技术•混合现实中使用的手势可分为静态手势和动态手势两类。静态手势是指某一时刻表态的手臂、手掌或手指的形状、姿态，手势数据中不包含连续时间序列信息，这类手势给用户提供了利用手掌就能完成的交互行为，一般用基于图像特征聚类的方法进行识别；动态手势是指在一段连续的时间内手臂、手掌或手指的姿态变化或移动路径，手势数据中需要包括随时间变化的空间特征，这类手势能够很好地表示空间路径手势，且需要使用基于隐马尔可夫模型（HMM）、基于动态时间规整和基于压缩时间轴的方法进行识别。上一页下一页返回6.3混合现实的交互技术•6.3.43D交互技术•在3D交互技术的支持下，3DUI能够很自然地应用于混合现实场景。3D交互技术支持用户使用3D的输入手段操作3D的对象及内容，并得到3D的视觉、听觉等多通道反馈。面向通用任务的3D交互技术分为导航、选择/操作和系统控制三个方面。其实现结构可以划分为3个具有显著特点的层次——几何模型、直接操纵隐喻、高层语义交互。其中，几何模型层提供3D可视反馈，直接操纵隐喻定义包括选取、点击、拖动、旋转在内的直接操纵功能，而面向高层语义的交互隐喻层允许用户实现更为复杂的交互任务，如指定路径进行漫游，这些任务需要由多个直接操纵层的动作序列组合完成。混合现实应用中的自然交互和直观反馈将主要在这一层得到实现。上一页下一页返回6.3混合现实的交互技术•6.3.5语音和声音交互技术•从声音的类型上，可以将这种技术分为非语音（声音）交互技术和语音交互技术。非语音交互技术主要使用声音给用户提供听觉线索，使用户能够有效地掌握和理解交互内容；语音交换技术包括语音输入、语音识别和处理及语音输出在内的一整套交互技术。•一个完整的语音交互系统由语音输入和语音输出系统两部分组成。语音输入系统包括语音识别和语义理解两个子系统。语音识别系统负责将语音转化为音素，其识别方法是利用相应的语音特征，如梅尔倒谱和语音模型、HMM和高斯混合模型进行切分和识别。上一页下一页返回6.3混合现实的交互技术•语义理解系统通过语言模型将语音识别系统的结果进行修正并组合成符合语法结构和语言习惯的词、短语和句子。多元语言模型得到最广泛的应用。语音输出系统分为有限词汇和无限词汇两种。有限词汇一般用于对有限的消息提示、控制指令、标准问题进行语音反馈；对于无限词汇，如盲人使用的读书软件或复杂的导航系统，无法将所有句子进行预先录制，只能通过语音合成的方法形成输出语音。上一页下一页返回6.3混合现实的交互技术•6.3.6其他交互技术•1．触觉反馈技术•触觉反馈技术在产生力学信号的过程中能够通过人类的动觉和触觉给用户反馈信息。从字面上看，这项技术提供给用户的是通过触摸的方式感知实际或虚拟的力学信号。但实际上，触觉反馈技术还包括提供体位、运动、重量等动觉通道的力学信号。这一特点对拓宽混合现实的交互带宽，增加混合现实应用的真实感和沉浸感有很大的帮助。触觉反馈技术就曾用于乳腺癌触诊训练中。被训人员通过仿真运动模型，亲身体验到虚拟肿瘤上的触觉刺激。上一页下一页返回6.3混合现实的交互技术•2．眼动跟踪技术•用户感兴趣的区域及用户的心理和生理状态是能够通过眼睛注视的方向体现出来的。因此，通过眼睛注视进行的交互技术是最快速的人机交互方式之一。•眼动跟踪技术可分为基于视频和非基于视频两种。基于视频的方法使用非接触式摄像机获取用户头部或眼睛的视频图像，再用图像处理的方法获得头部和眼睛的方向，最终组合计算出眼睛注视方向；非基于视频的方法使用接触式设备依附于用户的皮肤或眼球，从而获取眼睛注视方向。上一页下一页返回6.3混合现实的交互技术•3．笔式交互技术•笔式交互能够模拟人们日常的纸笔工作环境。由于笔式交互设备具有便携、可移动的特点，方便了人们在不同的时间和地点灵活地进行交流。目前，笔式交互技术常见的有笔式界面范式、笔迹识别与理解、基于笔的交互通道拓展。曾经有人将笔和交互平板作为主要交互工具，实现了一个混合现实协同工作环境。上一页下一页返回6.3混合现实的交互技术•4．