虚拟现实原理•VR基本概念•VR软件系统平台•VR引擎实例和演示•VR应用模式“虚”与“实”昔者庄周梦为蝴蝶,栩栩然蝴蝶也,自喻适志与!不知周也。俄然觉,则蘧蘧然周也。不知周之梦为蝴蝶与,蝴蝶之梦为周与?——《庄子·齐物论》“虚”与“实”•柏拉图:真正的世界只是存在于我们的想象中。•笛卡尔:我思故我在!•“IthinkthereforeIam”•记忆裂痕•虚拟偶像(SIMONE,又名虚拟情人、西蒙妮)•逃出克隆岛(TheIsland)•时空悍将(Virtuosity)•异次元骇客(TheThirteenthFloor,又名十三阶梯、十三度空间)•黑客帝国•时间线•盗梦空间描述•虚拟现实(VirtualReality)就是研究一种计算机技术,把人们想象中的东西转化为一种虚拟境界和虚拟存在,而这种虚拟境界和虚拟存在对我们的感觉器官就象真的客观存在一样。VR终极目标•《黑客帝国》•距离这个目标还有相当的距离黑客帝国影片片段不同层次上的虚拟现实•哲学意义上的虚拟现实–虚拟实在与自然实在的对等性•科学意义上的虚拟现实–科学研究的三大手段:理论、建模、实验验证与模拟仿真–人类梦想的场景在感知中的实现•工程意义上的虚拟现实–以计算技术为核心,生成感知上与真实环境高度近似,交互上直观自然的数字化环境虚拟现实•VirtualReality•1989年由美国Jaron.Lanier发明出来的一个词•灵境、幻境、赛伯空间、虚拟现实•虚拟现实(VirtualReality)–虚拟的现实–虚拟化现实怎样理解虚拟现实•虚拟现实系统中的“现实”(即所虚拟的环境)大致可分为三种情况:•第一种情况是模仿真实世界中的环境。怎样理解虚拟现实•第二种情况是人类主观构造的环境。例如,用于影视制作或电子游戏的三维动画。环境是虚构的,几何模型和物理模型可以完全虚构。怎样理解虚拟现实•第三种情况是模仿真实世界中的人类不可见的环境。例如,分子的结构,空气中速度、温度、压力的分布等。一个蛋白质分子的示例虚拟现实的概念•虚拟现实是计算机生成的给人多种感官刺激的虚拟环境。用户应该能够以自然的方式与这个环境交互,从而产生置身于相应的真实环境中的虚幻感,沉浸感,身临其境的感觉•1.多感知性(Multi-Sensory)–计算机生成一个给人多种感官刺激的虚拟环境:视觉感知、听觉感知、力觉感知、触觉感知、运动感知、甚至包括味觉感知、嗅觉感知等•2.交互性(Interaction)–指人能以自然方式与虚拟世界进行交互操作–专用交互设备,如数据手套、跟踪器、触觉和力反馈装置•3.沉浸感(Immersion,存在感、临场感)–它是指虚拟现实系统对介入者的刺激在物理上和认知上符合人的已有经验,从而使介入者感到自己作为主角存在于模拟环境中的真实程度虚拟现实的特点虚拟现实概念辨析•虚拟现实与三维漫游•虚拟现实与景观动画•虚拟现实与三维游戏•虚拟现实与计算机图形学虚拟现实概念的变化•虚拟现实是计算机生成的给人多种感官刺激的虚拟环境。用户应该能够以自然的方式与这个环境交互,从而产生置身于相应的真实环境中的虚幻感,沉浸感,身临其境的感觉•应用需求使VR的应用重点进行了多种变化–强调自然交互产生的应用----如Kinect诸多应用–不再强调沉浸感,而强调信息提供----增强现实虚拟现实的发展历史与演变•萌芽与诞生(60年代-80年代末)•军事与航天的推动(70年代-80年代)•渐入民间---游戏、娱乐、模拟应用的刺激(90年代)•VR在Internet上的兴衰(90年代中-21世纪)•VR应用的大众化与多元化(21世纪)–世博会、春晚、文化创意产业、3D电影–人机交互、增强现实萌芽与诞生(60年代-80年代末)•萌芽–1929年,EdwinA.Link发明了飞行模拟器,使乘坐者的感觉和坐在真的飞机上是一样的。–1956年,MortonHeileg开发了一个叫做Sensorama(传感景院)的摩托车仿真器。–1962年,MortonHeileg申请了专利“全传感仿真器”。该专利蕴涵了虚拟现实技术的思想。萌芽与诞生(60年代-80年代末)•1962年,美国电影摄影师MortonHeilig研制的Sensorama的立体电影系统萌芽与诞生(60年代-80年代末)1965年,IvanSutherland在名为“UltimateDisplay”(终极的显示)的论文中首次提出了包括具有交互图形显示、力反馈设备以及声音提示的虚拟现实系统的基本思想。萌芽与诞生(60年代-80年代末)1966年,美国MIT林肯实验室研制出了第一个头盔式显示器(HelmetMountedDisplay即HMD)1968年,Sutherland在哈佛大学的组织下开发了头盔式立体显示器及一个虚拟系统,可称得上是第一个虚拟现实系统。萌芽与诞生(60年代-80年代末)•1987年,《科学的美国人》(“ScientificAmerican”)上发表了一篇题为先进的计算机界面(InterfacesforAdvancedComputing)一文;该杂志还发表了一篇报导数据手套的文章•基于从60年代以来所取得的一系列成就,美国的JaronLanier在80年代正式提出了“VirtualReality”一词。萌芽与诞生(60年代-80年代末)•军事与航天的推动(70年代-80年代)–70年代和80年代早期,美国军方开展“飞行头盔”和军事现代仿真器的研究–1983年美国DARPA(DefenseAdvencedResearchProjectsAgency)和美国陆军共同为坦克编队作战训练开发了一个实用的虚拟战场系统SIMNET。SIMNET萌芽与诞生(60年代-80年代末)70年代和80年代早期,美国军方开展“飞行头盔”和军事现代仿真器的研究1983年美国DARPA(DefenseAdvencedResearchProjectsAgency)和美国陆军共同为坦克编队作战训练开发了一个实用的虚拟战场系统SIMNET。1984年NASA(NationalAeronauticsandSpaceAdministration,美国宇航局)研制成功具有现代虚拟现实系统雏形的VIVED系统1988年NASA研究完成VIEW系统NASA研制的VIVED和VIEW系统渐入民间---游戏、娱乐、模拟应用的刺激(90年代)•3D游戏•主题公园、游乐场•飞行、航海、医学等的模拟训练1990年最早出现的两款3D游戏1995年的3D游戏毁灭战士1&2(Doom1&2)2004年Doom3的效果2011年,Crysis2主题公园、游乐场•4D影院4D影院演示24D影院演示1虚拟高尔夫球场飞行、航海驾驶模拟驾驶射击模拟医学模拟、仿真演示:medicien.mpg渐入民间---软硬件技术的发展•显卡的出现与飞速发展•计算机图形基础算法的发展•游戏引擎、虚拟现实平台软件的研发VR在Internet上的兴衰(90年代中-21世纪)•1994年3月在日内瓦召开的第一届WWW大会,就提出了VRML这个名字。•SecondLife,There•国内:HiPiHi网络上的虚拟世界(90年代中-21世纪)•2006-2007年随secondlife的被报道而繁荣•国内出现很多类似产品•局面迟迟无法打开,大都面临破产•原因分析–技术问题–无法找到盈利模式VR应用的大众化与多元化(21世纪)•多媒体创意展示–奥运、世博、春晚•3D电影–阿凡达清明上河图---水晶石公司制作多媒体创意展示•虚拟现实艺术•虚拟现实与数字媒体、文化创意紧密结合起来VR应用的大众化与多元化(21世纪)•适当放宽对沉浸感的追求,而重视用户体验–创意展示、体验–人机交互----Kinect,iPhone–增强现实增强现实增强现实——google智能眼镜Google眼镜演示虚拟现实概念的进一步总结•有很深的哲学渊源•是一种理念•新的应用模式不断产生,应用热点在不断发生变化•是多学科的融合虚拟现实及其相关学科虚拟现实计算机图形学自动化控制计算机视觉模式识别科学计算可视化数字图像处理人机交互生理学、心理学等输入/输出设备人工智能计算机网络虚拟现实•科学意义上的纯粹的概念:–虚拟现实是计算机生成的给人多种感官刺激的虚拟环境。用户应该能够以自然的方式与这个环境交互,从而产生置身于相应的真实环境中的虚幻感,沉浸感,身临其境的感觉•应用意义上的概念–利用计算机及各种传感设备构造一种信息环境,人能够高效、自然地对此信息环境进行感知、交互,产生沉浸感或达到某种信息传达的目的。对虚拟现实概念的分析•应用意义上的概念–利用计算机及各种传感设备构造一种信息环境,人能够高效、自然地对此信息环境进行感知、交互,产生沉浸感或达到某种信息传达的目的。•虚拟现实(VirtualReality)–虚拟的现实–虚拟化现实–虚拟与现实与几个概念的辨析•虚拟现实与三维漫游,景观动画,三维游戏,计算机图形学•虚拟现实与–媒体–数字媒体,新媒体–创意媒体虚拟现实概念的进一步分析•什么是虚拟现实–虚拟现实的终极目标–不同层次上的虚拟现实–虚拟现实的概念辨析–虚拟现实应用目标的变化•虚拟现实的发展历史与演变•虚拟现实系统的组成虚拟现实系统的一般组成形式虚拟现实系统的组成元素•介入者(人)•虚拟世界生成设备---VR的计算机系统•VR的人机接口–感知设备:给介入者提供感知信号–跟踪设备:探测(接受)介入者的反应动作虚拟世界介入者(人)感知设备跟踪设备人机接口感官刺激信号反应动作生成虚拟世界的设备•硬件–计算机•软件–操作系统;虚拟现实引擎;建模软件……•网络–分布式交互仿真已经成为现代仿真技术,特别是军事仿真的潮流。通讯网络可以把VE转换成共享的分布式计算环境。这些设备的主要功能•视觉通道信号生成与显示(要求:实时的帧速率;高质量的图像)•听觉通道信号生成与显示•触觉和力觉通道信号生成与显示•支持实时人机交互操作的功能——三维空间定位、碰撞检测、语音识别以及人机实时对话功能系统组成框图虚拟世界介入者(人)感知设备跟踪设备人机接口感官刺激信号反应动作虚拟现实的人机接口•VR的人机接口有两个作用:–给人提供环境感知信息----感知设备•机器人–跟踪、探测人的动作和响应----跟踪设备•机器人眼、耳、鼻、舌、身、意根据实验心理学家统计,人类获取的信息83%来自视觉,11%来自听觉,这两个加起来有94%。还有3.5%来自嗅觉,1.5%来自触觉,1%来自味觉。感知设备•视觉感知设备沉浸式头盔显示器(HMD)封闭式头盔显示器透视式头盔显示器吊杆式(BOOM)洞穴式(CAVE)四面CAVE五面CAVE六面CAVE非沉浸式桌面立体显示器墙式立体显示器屏面宽屏幕180°环状响应式工作台(RWB)单屏幕RWB双屏幕RWBCAVEBOOMHMD180度环状屏幕球面投影显示系统感知设备•听觉感知设备——三维真实感声音的播放设备–耳机式–双扬声器组–多扬声器组•触觉(力觉)感知设备–触觉感知设备(一般的接触感、感知质感/纹理感/温度感)–力觉感知设备(能反馈力的大小)•运动感知、嗅觉感知、味觉感知…多感官研究的实例2008年3月,来自约克和华威大学的科学家小组,研制世界上第一款能够模拟所有5种感觉的虚拟现实装置:虚拟茧跟踪设备•跟踪并检测位置和方位的装置,用于虚拟现实系统中基于自然方式的人机交互操作,例如手势、体势、眼势视线方向变化。–数据手套–数据衣服–眼球跟踪器–语音综合识别装置–直接心理感觉和控制–…跟踪设备基本概念结束