搜索
虚拟现实技术简介授课教师：侯守明单位：河南理工大学计算机学院2主要内容虚拟现实系统的特点及组成立体视觉的生成与获取虚拟现实交互设备虚拟现实系统的分类增强现实技术3虚拟现实系统的特点及组成虚拟现实技术综合图形、图像、声音、手势、语音等要素，试图给计算机使用者创造一种全新的感官体验，使其具有置身于真实世界的感觉“虚拟环境是使人们具有沉浸感的由计算机生成的、交互的、三维的环境”---AukstakalnisSandBlatnerD.4虚拟现实系统的特点及组成主要特点沉浸感如同置身于真实环境中：三维、立体、多通道高交互性可采取现实生活中习以为常的方式来操纵虚拟环境中的物体实时性依视点位置和视线方向实时地改变画面，并实时产生听觉、触觉/力觉响应5虚拟现实系统的特点及组成典型虚拟现实系统的组成计算机系统用户虚拟环境人机界面6虚拟现实系统的特点及组成基于HMD的虚拟现实系统的构成7立体视觉的生成与获取产生沉浸感的至关重要的因素立体图像与观察者视点和视线方向一致实时生成人类立体视觉的产生立体图像生成的照相机模型对称透视投影成像相机模型位置方向8立体视觉的生成与获取立体图像生成的照相机模型对称透视投影成像相机模型（cont.)宽高比视角9立体视觉的生成与获取10立体视觉的生成与获取立体图像生成的照相机模型对称透视投影成像相机模型（cont.)近裁剪平面距离与远裁剪平面距离11立体视觉的生成与获取立体图像生成的照相机模型对称透视投影成像相机模型（cont.)焦距12立体视觉的生成与获取立体图像生成的照相机模型对称透视投影成像相机模型（cont.)左右眼视差（Parallax）为生成立体图像，计算机必须针对同一场景生成两幅不同的图像分别按照观察者左、右眼的位置实时绘制右眼视图视线方向视差左眼视图13立体视觉的生成与获取立体视觉的捕获必须借助于一定的观察设备，使计算机生成的左、右眼图像分别为观察者的左、右眼所接收常用的立体视觉设备HMD立体眼镜14虚拟现实交互设备WIMP交互范式已不再适用Windows，Icons，Menus，Pointingdevices用户将通过一系列新的交互手段，与虚拟世界中的物体进行直接的、三维的交互三维鼠标WAND数据手套麦克风…15虚拟现实交互设备三维定位跟踪设备用于跟踪用户当前方位的传感器大多数具有6自由度（6-DOF）位置和方向各3自由度佩戴于用户身体的某些部位可对相应部位进行跟踪一般采用电磁技术、超声技术、光学技术，也有基于惯性的和纯机械方式的16虚拟现实交互设备三维定位跟踪设备电磁式跟踪器示例17虚拟现实交互设备三维定位跟踪设备Logitech超声三维鼠标18虚拟现实交互设备三维定位跟踪设备光学跟踪器跟踪器红外摄像机LED被跟踪物用作标记的小球19虚拟现实交互设备手持式交互设备Wand/Wanda美国Illonis大学EVL实验室开发主要用于CAVE、ImmersaDesk等虚拟环境中类似于三维鼠标，上有三个按键和一个操纵杆（Joystick）20虚拟现实交互设备手持式交互设备WiiRemote任天堂游戏主机Wii的主要控制器外形及按钮操作与电视遥控器类似可握持在手中，特别适合于指向、挥动等操作21虚拟现实交互设备数据手套附有传感器，分布在手掌和手指的关节处，以获取用户手形的准确信息传感有电磁式、机械式或光学式传感器捕获的数据被转换成关节角度数据，用于控制虚拟手的运动22虚拟现实交互设备数据手套传感器的典型配置22-dof23虚拟现实交互设备数据手套示例Immersion数据手套产品(a)(b)(c)(d)(e)24虚拟现实交互设备数据手套示例PinchGlove数据手套虚拟现实交互设备数据手套示例5DT数据手套虚拟现实交互设备触觉交互设备Phantom虚拟现实交互设备交互设备的软件支持硬件接口标准的串行设备接口（即RS-232）并行口其它接口（如USB或无线通讯接口）软件接口几乎每一种设备均未采用标准的软件接口使用各自独有的接口控制协议或命令指令集28虚拟现实交互设备交互设备的软件支持软件供应商必须为每一硬件供应商的输入设备单独设计应用接口驱动程序虚拟现实软件间的区别（就交互设备而言）所能支持的输入设备的多少设备与各自系统的集成方式是否有能力进行扩充以支持新的交互设备VR系统的主要不同之处在于系统与用户之间界面基于系统与用户界面划分桌面型VR系统头盔型VR系统基于投影显示的VR系统遥在系统…29虚拟现实系统的分类30桌面型虚拟现实系统采用计算机屏幕作为立体显示载体辅以一定的声音输出设备、三维交互设备和立体眼镜等传统计算机图形学的自然扩展具有好的性价比，但沉浸感略差31基于HMD的虚拟现实系统利用HMD等设备把用户的视觉、听觉对外界封闭起来用户完全投入到虚拟环境中能提供好的沉浸感阻断了人与人间的交流32基于投影显示的虚拟现实系统利用大规模投影显示设备让用户完全或部分融入虚拟环境沉浸式典型代表：CAVE半沉浸式典型代表：Workbench33基于投影显示的虚拟现实系统CAVE美国Illonis大学EVL实验室首创由3～6个投影屏幕组成正方体形状计算机系统产生立体图像，经投影仪分别投射到对应的屏幕上用户戴着立体眼镜站于CAVE的内部立体眼镜上附有6-DOF跟踪设备对用户头部运动进行实时跟踪声音系统34基于投影显示的虚拟现实系统CAVE示意图35基于投影显示的虚拟现实系统CAVE示例36基于投影显示的虚拟现实系统VirtualWorkbenchTM卫星虚拟装配37遥在系统将现实世界中远程场景与操作人员的感官直接连通，让用户感觉就像亲临现场一样利用计算机图形、人机交互、传感器、网络等技术远程传感器可安装在机器人身上机器人身上有小型摄像系统需感知用户位置、动作、语音等，将其传送到远程操控远程对象用户与远程对象进行信息双向交流38遥在系统示例：Cisco远程电话会议系统增强现实技术将计算机生成的图形与用户在真实物理世界获取的视觉信息组合在一起使用户产生全新的体验，提高对现实世界中的事物和物理现象的洞察力终极目标：用户感觉不到现实世界中的真实物体与用于增强视觉信息的虚拟物体之间的差别40增强现实技术Milgrim的现实--虚拟连续流混合现实(MixedReality,MR)现实环境(RealEnvironment)增强现实(AugmentedReailty,AR)增强虚拟(AugmentedVirtuality,AV)虚拟环境(VirtualEnvironment)41增强现实系统系统组成42增强现实技术显示技术基于光学视透式HMD的增强现实显示原理图形系统头部位置虚拟物体HMD监视器真实世界光学合成眼睛43增强现实技术显示技术基于屏幕的增强现实显示原理图形系统视频合成真实世界真实场景视频相机位置虚拟物体增强的视频显示44增强现实技术显示技术基于视频视透式HMD的增强现实显示原理图形系统真实世界头部位置真实场景视频眼睛监视器虚拟物体视频合成HMD相机45增强现实技术配准（registration）问题将位于不同坐标系中的物体统一到一个共同的坐标系中AR系统涉及多个空间，每个空间都有各自不同的坐标系配准是实现虚拟景物图像和真实世界图像之间正确融合的前提配准错误将导致用户的注意力分散，甚至无法工作46增强现实技术配准困难的原因需对人和摄像机的运动进行实时跟踪运动跟踪可借助跟踪设备来完成，但如何校正这些运动数据以消除噪声?系统所采用的显示方式决定了虚拟景物图像配准到真实场景图像的精度需要对人眼的结构、摄像系统的参数或其它显示设备有更多了解47增强现实的应用领域军事领域48增强现实的应用领域医学领域49增强现实的应用领域工程领域50增强现实的应用领域虚拟演播室51增强现实的应用领域虚拟演播室（cont.）•1、先天下之忧而忧；后天下之乐而乐。——范仲淹•2、捐躯赴国难，视死忽如归。——曹植•3、近乡情更切，不敢问来人。——宋之问•4、气蒸云梦泽；波撼岳阳城。——孟浩然•5、中夜四五叹，常为大国忧。——李白•6、国耻未雪，何由成名？——李白•7、当须徇忠义，身死报国恩。——李希仲•8、科学虽没有国界，但是学者却有他自己的国家。——巴斯德•9、虚荣的人注视着自己的名字，光荣的人注视着祖国的事业。——马蒂•10、爱国主义就是千百年来固定下来的对自己的祖国的一种最深厚的感情。——列宁•11、利于国者爱之，害于国者恶之。——晏婴•12、常思奋不顾身，而殉国家之急。——司马迁•13、爱国如饥渴。——班固•14、一身报国有万死，双鬓向人无再青。——陆游•15、死去原知万事空，但悲不见九州同。王师北定中原日，家祭无忘告乃翁。——陆游•16、人生自古谁无死，留取丹心照汗青。——文天祥•17、天下兴亡，匹夫有责。——顾炎武•18、南北驱驰报主情，江花边草笑平生。一年三百六十日，都是横戈马上行。——戚继光•19、瞒人之事弗为，害人之心弗存，有益国家之事虽死弗避。——吕坤•20、各出所学，各尽所知，使国家富强不受外侮，足以自立于地球之上。——詹天佑•21、做人最大的事情是什么呢？就是要知道怎样爱国。——孙中山•22、我们爱我们的民族，这是我们自信心的泉源。——周恩来•23、为中华之崛起而读书。——周恩来•24、以身许国，何事不敢为？——岳飞•25、夜视太白收光芒，报国欲死无战场！——陆游•26、位卑不敢忘忧国。——陆游•27、寄意寒星荃不察，我以我血荐轩辕。——鲁迅•28、中国自古以来，就有埋头苦干的人，就有拼命硬干的人，就有为民请命的人，就有舍身求法的人。——他们是中国的脊梁。——鲁迅•29、惟有民魂是值得宝贵的，惟有它发扬起来，中国人才有真进步。——鲁迅•30、我们中华民族有同自己的敌人血战到底的气概，有在自力更生的基础上光复旧物的决心，有自立于世界民族之林的能力。——毛泽东•31、与其忍辱生，毋宁报国死。——何香凝•32、锦绣河山收拾好，万民尽作主人翁。——朱德•33、人民不仅有权爱国，而且爱国是个义务，是一种光荣。——徐特立•34、爱国的主要方法，就是要爱自己所从事的事业。——谢觉哉•35、中国是古老的民族，也是勇敢的民族。中华民族有两大优点：勇敢，勤劳。这样的民族多么可爱，我们爱我们民族（当然其他民族也有他们可爱之处，我们决不忽视这一点），这是我们自信心的泉源。——周恩来•36、真正的爱国者是爱人类的，爱国决不是排外。——马铁丁•37、爱国主义就是千百年来巩固起来的对自己的祖国的一种最深厚的感情。——列宁•38、必须经过祖国这一层楼，然后更上一层楼，达到人类的高度。——罗曼·罗兰•39、黄金诚然是宝贵的，但是生气蓬勃的勇敢的爱国者却比黄金更为宝贵。——林肯