搜索
虚拟现实技术4.1虚拟现实的特征及基本构成4.2虚拟现实技术的发展概况4.3位置跟踪通道4.4视觉通道4.5听觉通道4.6触觉、力反馈4.7虚拟场景的生成虚拟现实的基本概念1989年，美国VPLResearch公司创始人JaronLanier提出了VirtualReality（虚拟现实）的概念。在这里，Reality的含义是现实的世界，或现实的环境。所以，VirtualReality（虚拟现实）的另一个名称是VirtualEnvironment（虚拟环境）。Virtual说明，这个世界或环境是虚拟的，不是真实的。这个世界或环境是人工构造的，是存在于计算机内部的。用户应该能够进入这个虚拟的环境中。所谓进入这个虚拟的环境中，是指用户以自然的方式与这个环境交互（包括感知环境并干预环境），从而产生置身于相应的真实环境中的虚幻感，身临其境的感觉。VirtualReality（虚拟现实）或VirtualEnvironment（虚拟环境）是人工构造的，存在于计算机内部的环境。用户应该能够以自然的方式与这个环境交互（包括感知环境并干预环境），从而产生置身于相应的真实环境中的虚幻感，沉浸感，身临其境的感觉。虚拟环境(VirtualEnvironment，VE)系统或虚拟现实(VirtualReality，VR)系统包括人类操作者、人机接口和计算机。虚拟现实系统应用最多的专用设备是头盔式立体显示器和数据手套。于是，有人以使用这些专用设备为虚拟现实系统的标志。这种观点是不准确的。上述的虚拟现实的概念，是在计算机应用和人机交互方面开创的全新的学科领域。这个新领域的发展，还有很多困难，有很多技术难点有待解决。当前，这一领域还只是走出了第一步。头盔式立体显示器和数据手套等设备，只是当前已经实现的一部分虚拟显示设备。它们还很不完善。例如，头盔的视场，分辨率，造成眩晕等问题还有待解决。听觉接口和力觉接口等设备还在研究，应用还不多。味觉，嗅觉，运动觉等技术，还缺乏研究。虚拟现实技术虚拟现实系统中的虚拟环境，可能有下列几种情况。第一种情况是模仿真实世界中的环境。例如，建筑物，武器系统，或战场环境。这种真实环境，可能是已经存在的，也可能是已经设计好但还没有建成的。为了逼真地模仿真实世界中的环境，要求逼真地建立几何模型和物理模型。环境的动态应符合物理规律。这一类虚拟现实系统的功能，实际是系统仿真。第二种情况是人类主观构造的环境。例如，用于影视制作或电子游戏的三维动画。环境是虚构的，几何模型和物理模型就可以完全虚构。这时，系统的动画技术常用插值方法。第三种情况是模仿真实世界中的人类不可见的环境。例如，分子的结构，空气中速度、温度、压力的分布等。这种真实环境，是客观存在的，但是人类的视觉和听觉不能感觉到。对于分子结构这类微观环境，进行放大尺度的模仿，使人能看到。对于空气中速度这类不可见的物理量，可以用流线显示速度（流线方向表示速度方向，流线密度表示速度大小）。这一类虚拟现实系统的功能，实际是科学可视化。由此可见，虚拟现实技术可以用于系统仿真、科学可视化、三维动画等领域。第一种情况第二种情况虚拟现实的特点基于虚拟现实的基本概念，可以得到虚拟现实的下列三个特点。1．计算机提供“环境”,不是“数据,信息”。这改变了人机接口的内容。2．操作者由视觉,听觉,力觉感知环境,由自然的动作操作环境,不是由屏幕,键盘,鼠标和计算机交互。这改变了人机接口的形式。3．逼真的感知和自然的动作，使人产生身临其境的感觉。这改变了人机接口的效果。第一个特点体现了计算机应用的新方向。计算机的名称体现了，它的最早应用是计算。当时，计算机和用户交互的是计算有关的数值。此后，计算机扩大到处理数值，字符串，文本等各类数据。以后，计算机更扩大到处理图像，图形，声音，语言等多种媒体的信息。虚拟现实系统则以环境为计算机处理的对象和人机交互的内容。这开拓了计算机应用的新思路。第二个特点体现了计算机人机接口的新方向。至今为止的计算机人机接口都是面向机器的。终端，键盘，鼠标，打印机等接口设备，都是适应计算机的专用设备。这些设备很好地完成了各类数据和多媒体信息的交互。虚拟现实中的人机接口，则是面向用户的。虚拟现实系统中，用户以自然的方式与虚拟环境交互。所谓自然的方式，是指用户通过视觉，听觉，触觉等感觉虚拟环境，使用户产生在真实环境中的幻觉。同时，用户通过在真实环境中的行为，去干预虚拟环境。于是，虚拟现实的人机接口设备，完全不同于现有计算机的人机接口设备。这也是虚拟现实技术中最有特色的内容。第三个特点体现了计算机人机接口的新要求。用户通过人机接口与虚拟环境交互的结果，是使用户产生身临其境的虚幻感，沉浸感。虚拟现实的应用领域1．娱乐2．国防3．设计、制造和销售4．医疗和健康5．危险操作6．训练7．教育8．信息可视化9．远程交往与远程游历虚拟现实技术1．VR的人机接口2．VR的计算机系统3．VR的建模和仿真1．VR的人机接口VR的人机接口有两个作用：其一是给人类操作者提供环境信息（视觉、听觉和触觉），其二是感觉人类操作者的动作和响应（位置跟踪和映射）。前者包括：视觉通道、听觉通道、触觉通道、运动接口和其他接口。后者包括：位置跟踪和映射，语音识别等。（1）位置跟踪和映射位置跟踪和映射用于测量人体各部位的位置和姿态，分析判断人面部的表情。它的目的是了解人的身体行为。这是为了实现人机交互所必需的系统功能。VR系统由此了解人的行为，然后做出适当的响应，实现交互。常用的技术包括：机械链接、磁传感器、声传感器、光传感器和惯性传感器。基本目标是精确完成位置和姿态的测量。三个主要的要求：大范围的线性响应，高带宽（1kHz），以及允许头和身体的运动。（2）视觉通道视觉通道给人的视觉系统提供图形显示。为了提供身临其境的逼真感觉，视觉通道应该满足一些要求。显示的像素应该足够小，使人不至感觉到像素的不连续。显示的频率应该足够高，使人不至感觉到画面的不连续。给两眼提供具有双目视差的图形，形成立体视觉。应该具有足够大的视场，理想情况是显示画面充满整个视场。视觉通道的显示表面分为：基于CRT和基于LCD。视觉通道的光学系统分为：头盔显示(HMD)和非头盔显示(OHD)。专用头盔图（3）听觉通道听觉通道给人的听觉系统提供声音显示。为了提供身临其境的逼真感觉，听觉通道应该满足一些要求，使人感觉置身于立体的声场之中，能识别声音的类型和强度，能判定声源的位置。听觉通道的关键技术包括：合成由接口提供的虚拟声音信号，声音在虚拟空间定位问题，以及发声设备。（4）触觉通道触觉通道给人体表面提供触觉和力觉。当人体在虚拟空间中运动时，如果接触到虚拟物体，虚拟显示系统应该给人提供这种触觉和力觉。触觉通道涉及操作以及感觉，包括触觉反馈和力觉反馈。触觉通道的结构分为：安在身体上和安在地面的设备。（5）运动接口人体在环境中的运动包括：身体的被动运动(被动移动，如在车上的运动)，身体主动运动（漫游，如散步）。人在运动中，人体内部的运动感觉器官可以感知运动信息。感知运动信息的器官包含：前庭系统，运动系统，视觉听觉系统，本体感受，动觉和触觉。运动接口应该给这些器官提供运动信息。（6）其它类型接口其它类型接口包括：嗅觉、味觉通道，以及感觉热、风及湿度的接口。还包括语音通讯（语音识别与合成）以及直接心理感觉和控制。这些接口还缺乏研究，以下将不介绍。2．VR的计算机系统现有的虚拟显示系统主要考虑视觉通道。听觉通道和触觉通道还处于研究阶段。所以，VR的计算机系统主要考虑视觉通道的要求。（1）硬件视觉通道对计算机系统的要求，首先是要求维持足够的图形帧速率。于是要求在指定的时间内（约为0.1秒）计算出两眼的两幅图像。同时要求提供足够好质量的图像，这一般体现在图像中显示的多边形或三角形的树木。因此，往往需要专用硬件。图形硬件应提供快速几何变换、截取、消隐、多边形填充和表面纹理。（2）软件VR系统中的软件主要包括下列几种。交互软件利用人机控制设备的输出去修改VE。视觉漫游软件控制用户在VE中运动时看到的场景。建模软件定义虚拟物体形状、外观和属性的模型。操作系统支持VE的实时多模态要求。（3）网络分布式交互仿真已经成为现代仿真技术，特别是军事仿真的潮流。通讯网络可以把VE转换成共享的分布式计算环境。3．VR的建模和仿真（1）建模建模包括：几何建模和物理建模。一般的VR工具软件都具有几何建模功能。利用现有的CAD建模工具也是常用的方法。市场上已有商业模型库出售。对实际物体的建模，则采用激光扫描等专用设备。物理建模是基于物理方程的建模。一般考虑刚体建模，链接物体的建模，以及非刚体的建模。智能体的建模不是基于物理方程，而是基于人为的物体智能。人工建模技术在图形学和CAD领域，已有成熟的成果。自动建模采用激光扫描建立几何模型，也已经有相关产品。自动建立物理模型的研究还不多。（2）仿真仿真包括：图形绘制和三维动画。图形绘制是把三维环境，相对于虚拟摄像机（虚拟视点）投影，形成图像的过程。为了提供连续运动的错觉，帧速率必须大于每秒8到10帧。为了保持瞬间交互控制的错觉，响应时间的延迟必须小于0.1秒。为了绘制人眼可分辨的所有细节，这要求有8千万个多边形。这是对于图形绘制的要求。然而，用今天的硬件，每个画面8千万多边形的系统对真正的实时交互是太慢了，于是存在真实图像与实时交互间的折衷。某些应用（如建筑和艺术）可能要求照片一样真实的绘制。制造和医疗应用要求更高层次的实时交互。三维动画可以用两种途径实现。基于物理模型的数值计算是一种方法。军事和工业等应用，往往要求这种满足物理规律的仿真技术。数学插值则是另一种实现动画的方法。这种技术在三维动画电影中获得了巨大的成功。下图表示，虚拟现实开发系统的方块图。用户通过输入输出设备与输入输出软件交互。输入软件通过形状编辑器完成几何建模，通过声音编辑器完成虚拟声音系统建模。然后，在世界编辑器完成虚拟环境的建模。其中的虚拟剪切器，用于模型的剪切。建立的模型，保存在虚拟世界中。整个工作在计算机系统中完成。虚拟现实的接口设备◇位姿传感器◇视觉显示◇听觉显示◇力觉和触觉显示1．位姿传感器的要求机器人、生物学、建筑、CAD、教育等应用领域，都要求知道运动物体实时的位置和方向。虚拟现实系统则要求知道人体各部分实时的位置和方向。（1）3-D空间中的运动的刚体具有三个平移（沿着X、Y和Z轴）和三个转动（偏航、俯仰和滚动）。（2）在物体以高速运动时，应该足够快地测出这六个数值。（3）3-D测量不应妨碍物体运动。非接触式测量（低频磁场、超声、雷达、红外摄像和LED等）已经代替机械臂等接触式测量。（4）3-D传感器都具有一些共同的参数。位姿跟踪常用的性能参数有：精度，分辨率，采样率，执行时间，范围，工作空间，价格，障碍，方便，对模糊的敏感，容易校准，同时测量的数目，方向相对位置跟踪。（5）人体并非刚体。上述六个数值只能描述人体整体的运动，人体各部分之间的相对运动也应该测量。（6）位姿跟踪和映射是VE系统的基本要求。常用的要求包括：（a）视觉显示对头和眼的跟踪；（b）触觉接口对手和臂的跟踪；（c）视觉显示对身体的跟踪；（d）面部表情识别、虚拟衣服和医用遥控机器人的映射；（e）建立数字化几何模型的环境映射。（7）一种工作方式（“流动”方式）中，传感器数据连续送给主计算机。这最适于快速运动的物体。但是这加重了通信线路的负担。如果要求以30个画面/秒的速率重复计算，则每33毫秒要画出一个画面。9600波特率的串行口要花费12毫秒传送6个数的一组数据（每个数有16bit）。因此，仅仅通信就要花费33毫秒的36%。另一种工作方式（“请求”方式）中，当主计算机请求时，才传送一组的6个数。其它时间不读传感器数据，于是总体画面更新时间中的通信时间部分就下降了。（8）用于位姿跟踪和映射的基本传感系统有：机械链接，磁传感器，光传感器，声传感器和惯性传感器。2．各种位姿跟踪器的比较如下：3．研究要求一般，位置跟踪器要求合适的性能和合理的价格。对肢体跟踪，某些光学传感器是精确快速的，但对日常应用太贵（在5万到10万美元范