第八章虚拟现实

虚拟现实授课教师：单位：2主要内容虚拟现实系统的特点及组成立体视觉的生成与获取虚拟现实交互设备虚拟现实系统的分类增强现实技术主要内容虚拟现实系统的特点及组成立体视觉的生成与获取虚拟现实交互设备虚拟现实系统的分类增强现实技术34虚拟现实系统的特点及组成虚拟现实技术综合图形、图像、声音、手势、语音等要素，试图给计算机使用者创造一种全新的感官体验，使其具有置身于真实世界的感觉“虚拟环境是使人们具有沉浸感的由计算机生成的、交互的、三维的环境”---AukstakalnisSandBlatnerD.5虚拟现实系统的特点及组成主要特点沉浸感如同置身于真实环境中：三维、立体、多通道高交互性可采取现实生活中习以为常的方式来操纵虚拟环境中的物体实时性依视点位置和视线方向实时地改变画面，并实时产生听觉、触觉/力觉响应6虚拟现实系统的特点及组成典型虚拟现实系统的组成计算机系统用户虚拟环境人机界面7虚拟现实系统的特点及组成基于HMD的虚拟现实系统的构成主要内容虚拟现实系统的特点及组成立体视觉的生成与获取虚拟现实交互设备虚拟现实系统的分类增强现实技术89立体视觉的生成与获取产生沉浸感的至关重要的因素立体图像与观察者视点和视线方向一致实时生成人类立体视觉的产生立体图像生成的照相机模型对称透视投影成像相机模型位置方向10立体视觉的生成与获取立体图像生成的照相机模型对称透视投影成像相机模型（cont.)宽高比视角11立体视觉的生成与获取12立体视觉的生成与获取立体图像生成的照相机模型对称透视投影成像相机模型（cont.)近裁剪平面距离与远裁剪平面距离13立体视觉的生成与获取立体图像生成的照相机模型对称透视投影成像相机模型（cont.)焦距14立体视觉的生成与获取立体图像生成的照相机模型对称透视投影成像相机模型（cont.)左右眼视差（Parallax）为生成立体图像，计算机必须针对同一场景生成两幅不同的图像分别按照观察者左、右眼的位置实时绘制右眼视图视线方向视差左眼视图15立体视觉的生成与获取立体视觉的捕获必须借助于一定的观察设备，使计算机生成的左、右眼图像分别为观察者的左、右眼所接收常用的立体视觉设备HMD立体眼镜主要内容虚拟现实系统的特点及组成立体视觉的生成与获取虚拟现实交互设备虚拟现实系统的分类增强现实技术1617虚拟现实交互设备WIMP交互范式已不再适用Windows，Icons，Menus，Pointingdevices用户将通过一系列新的交互手段，与虚拟世界中的物体进行直接的、三维的交互三维鼠标WAND数据手套麦克风…18虚拟现实交互设备三维定位跟踪设备用于跟踪用户当前方位的传感器大多数具有6自由度（6-DOF）位置和方向各3自由度佩戴于用户身体的某些部位可对相应部位进行跟踪一般采用电磁技术、超声技术、光学技术，也有基于惯性的和纯机械方式的19虚拟现实交互设备三维定位跟踪设备电磁式跟踪器示例20虚拟现实交互设备三维定位跟踪设备Logitech超声三维鼠标21虚拟现实交互设备三维定位跟踪设备光学跟踪器跟踪器红外摄像机LED被跟踪物用作标记的小球22虚拟现实交互设备手持式交互设备Wand/Wanda美国Illonis大学EVL实验室开发主要用于CAVE、ImmersaDesk等虚拟环境中类似于三维鼠标，上有三个按键和一个操纵杆（Joystick）23虚拟现实交互设备手持式交互设备WiiRemote任天堂游戏主机Wii的主要控制器外形及按钮操作与电视遥控器类似可握持在手中，特别适合于指向、挥动等操作24虚拟现实交互设备数据手套附有传感器，分布在手掌和手指的关节处，以获取用户手形的准确信息传感有电磁式、机械式或光学式传感器捕获的数据被转换成关节角度数据，用于控制虚拟手的运动25虚拟现实交互设备数据手套传感器的典型配置22-dof26虚拟现实交互设备数据手套示例Immersion数据手套产品(a)(b)(c)(d)(e)27虚拟现实交互设备数据手套示例PinchGlove数据手套数据手套示例5DT数据手套触觉交互设备Phantom交互设备的软件支持硬件接口标准的串行设备接口（即RS-232）并行口其它接口（如USB或无线通讯接口）软件接口几乎每一种设备均未采用标准的软件接口使用各自独有的接口控制协议或命令指令集31虚拟现实交互设备交互设备的软件支持软件供应商必须为每一硬件供应商的输入设备单独设计应用接口驱动程序虚拟现实软件间的区别（就交互设备而言）所能支持的输入设备的多少设备与各自系统的集成方式是否有能力进行扩充以支持新的交互设备主要内容虚拟现实系统的特点及组成立体视觉的生成与获取虚拟现实交互设备虚拟现实系统的分类增强现实技术32VR系统的主要不同之处在于系统与用户之间界面基于系统与用户界面划分桌面型VR系统头盔型VR系统基于投影显示的VR系统遥在系统…33虚拟现实系统的分类34桌面型虚拟现实系统采用计算机屏幕作为立体显示载体辅以一定的声音输出设备、三维交互设备和立体眼镜等传统计算机图形学的自然扩展具有好的性价比，但沉浸感略差35基于HMD的虚拟现实系统利用HMD等设备把用户的视觉、听觉对外界封闭起来用户完全投入到虚拟环境中能提供好的沉浸感阻断了人与人间的交流36基于投影显示的虚拟现实系统利用大规模投影显示设备让用户完全或部分融入虚拟环境沉浸式典型代表：CAVE半沉浸式典型代表：Workbench37基于投影显示的虚拟现实系统CAVE美国Illonis大学EVL实验室首创由3～6个投影屏幕组成正方体形状计算机系统产生立体图像，经投影仪分别投射到对应的屏幕上用户戴着立体眼镜站于CAVE的内部立体眼镜上附有6-DOF跟踪设备对用户头部运动进行实时跟踪声音系统38基于投影显示的虚拟现实系统CAVE示意图39基于投影显示的虚拟现实系统CAVE示例40基于投影显示的虚拟现实系统VirtualWorkbenchTM卫星虚拟装配41遥在系统将现实世界中远程场景与操作人员的感官直接连通，让用户感觉就像亲临现场一样利用计算机图形、人机交互、传感器、网络等技术远程传感器可安装在机器人身上机器人身上有小型摄像系统需感知用户位置、动作、语音等，将其传送到远程操控远程对象用户与远程对象进行信息双向交流42遥在系统示例：Cisco远程电话会议系统虚拟现实系统的特点及组成立体视觉的生成与获取虚拟现实交互设备虚拟现实系统的分类增强现实技术4344增强现实技术将计算机生成的图形与用户在真实物理世界获取的视觉信息组合在一起使用户产生全新的体验，提高对现实世界中的事物和物理现象的洞察力终极目标：用户感觉不到现实世界中的真实物体与用于增强视觉信息的虚拟物体之间的差别45增强现实技术Milgrim的现实--虚拟连续流混合现实(MixedReality,MR)现实环境(RealEnvironment)增强现实(AugmentedReailty,AR)增强虚拟(AugmentedVirtuality,AV)虚拟环境(VirtualEnvironment)46增强现实系统系统组成47增强现实技术显示技术基于光学视透式HMD的增强现实显示原理图形系统头部位置虚拟物体HMD监视器真实世界光学合成眼睛48增强现实技术显示技术基于屏幕的增强现实显示原理图形系统视频合成真实世界真实场景视频相机位置虚拟物体增强的视频显示49增强现实技术显示技术基于视频视透式HMD的增强现实显示原理图形系统真实世界头部位置真实场景视频眼睛监视器虚拟物体视频合成HMD相机50增强现实技术配准（registration）问题将位于不同坐标系中的物体统一到一个共同的坐标系中AR系统涉及多个空间，每个空间都有各自不同的坐标系配准是实现虚拟景物图像和真实世界图像之间正确融合的前提配准错误将导致用户的注意力分散，甚至无法工作51增强现实技术配准困难的原因需对人和摄像机的运动进行实时跟踪运动跟踪可借助跟踪设备来完成，但如何校正这些运动数据以消除噪声?系统所采用的显示方式决定了虚拟景物图像配准到真实场景图像的精度需要对人眼的结构、摄像系统的参数或其它显示设备有更多了解52增强现实的应用领域军事领域53增强现实的应用领域医学领域54增强现实的应用领域工程领域55增强现实的应用领域虚拟演播室56增强现实的应用领域虚拟演播室（cont.）