虚拟场景制作与演示华中师范大学2008第一章概论基本概念应用特点建模工具MultigenCreator背景知识基本概念虚拟现实技术虚拟显示技术仿真与可视化在美国北方边陲的华盛顿州,一队队中小学生在教师的带领下,走进了停在路边的汽车教室。教室里没有黑板和讲台,只是在每个座位的前方都设有一顶特殊的头盔和操纵杆。孩子们只要戴上头盔,手握操纵杆,眼前就会出现一幅幅栩栩如生的景像。如上化学课时,孩子们通过电脑将采集的一个氧原子和两个氢原子合在一起,眼前就会出现一个网状的水球,这是孩子们自己创造的水分子;在物理课上学生们还可以自己动手创造出降水、水汽蒸发等自然景观,直观有趣、生动形象。这种新颖的教学方式也是通过虚拟现实技术实现的。美国德克萨斯州的第一个“可见人”虚拟图像是由5000多帧人体不同截面的射线、磁和光的图像组成的,所有这些信息经技术处理后被存储起来,医生们只要通过交互网络调用,就可以看到详细的人体图。“可见人”的信息量如此之大,以至于即使不停地用高速线路传送,也需要两周的时间才能全部传送完,它所占用的信息空间相当于“大不列颠百科全书”的50多倍,这一虚拟人体可以用来进行教育、实习以及研究用。美国宇航局Ames研究中心的科学家将探索到的火星数据进行处理后得到了火星的虚拟现实图像。研究人员可以看到全方位的火星表面景象:高山、平川、河流,以及综横的沟壑里被风化的班驳的巨石,都显得十分清晰逼真,而且不论你从哪个方向看这些图,视野中的景象都会随着你的头的转动而改变,就好象真的置身于火星上漫游、探险一样,这无疑对天文、气象的教学有所帮助。基本概念:虚拟现实技术(一)虚拟现实(VR,VirtualReality):是一种可以创建和体验虚拟世界的计算机系统;VR用计算机技术来生成一个逼真的三维视觉、听觉、触觉或嗅觉等感觉世界,让用户可以从自己的视点出发,利用自然的技能和某些设备对这一生成的虚拟世界客体进行浏览和交互考察。虚拟世界:是全体虚拟场境或给定仿真对象的全体;虚拟场境:是由计算机生成的,通过视、听、触觉等作用于用户,使之产生身临其境感觉的交互式视景仿真;70年代,M.W.Krueger曾提出“人工现实(ArtificialReality,简称AR)”,它用来说明由IvansSutherland在1968年开创的头盔式三维显示技术以来的许多人工仿真现实;在1984年,美国科幻作家WilliamGibson提出另一个词“电脑空间(CyberSpace)”,它是指在世界范围内同时体验人工现实;类似的词还有:“人工环境(ArtificialEnvironments)”;“人工合成环境(SyntheticEnvironments)”;“虚拟环境(VirtualEnvironments)”;在1989年JaronLanier创造VirtualReality一词。基本概念:虚拟现实技术(二)主要特点:逼真的感觉视觉,听觉,触觉,嗅觉等自然的交互运动,姿势,语言,身体跟踪等个人的视点用户的眼、耳、身所感到的感觉信息迅速的响应感觉信息根据视点变化和用户输入及时更新基本概念:虚拟现实技术(三)虚拟现实的应用军事训练SIMNET&DIS(美国DARPA(DefenseAdvancedResearchProjectsAgency)1983年开始的一项研究,交付官方使用于1990年,用于模拟组队作战环境)教育与培训pedagogicalagentSteve;JackMOO网络会议与远程协作Sony公司基于DIVE的一个系统娱乐和虚拟社区Cybertown(使用Blaxxun)电子商务VRcommerceofIBM基本概念:虚拟现实技术(四)虚拟现实发展的原动力因特网技术的广泛使用:Internet已经成为娱乐、商业等的重要媒体;硬件基础:网络带宽的提高(宽带网的逐渐普及),个人计算机图形处理能力的增强;软件基础:虚拟现实技术和网络技术的结合;日益复杂的数据使得原来的界面不能满足需要,人们希望更加直观的表达信息,使用更加自然的方式进行人机交互以及通过网络实现人与人之间实时、形象的交流.基本概念:虚拟现实技术(五)历史回顾虚拟现实和其他技术一样,也是在前人大量工作的基础上发展起来的。立体电影,立体声技术飞行模拟器最早实际使用的仿真技术;“星际旅行”“宇宙飞船”的演示机械手、机器人危险场合进行各类“遥控操作”;游戏驾驶汽车、潜艇航行基本概念:虚拟现实技术(六)重要事件HMDHead-MountedDisplay1968年Sutherland三维头盔显示器;Videoplace1985年Krueger正式发表;VIEW项目VirtualEnvironmentWorkstation美国宇航局Ames研究中心的虚拟场境工作站;DataGloveVPL公司采用定位装置Polhemus的数据手套;VPL公司采用三维定位装置Polhemus的数据手套示意图三维定位装置Polhemus原理基本概念:虚拟现实技术(七)重要事件BOOMBinocularOmni-OrientedMonitor美国宇航局FakespaceLab的双筒全方位监视器;CAVEAudio-VisualExperienceAutomaticVirtualEnvironment1992年Cruz-Neira的墙式显示屏自动声象虚拟场境;VRMLVirtualRealityModelingLanguage因特网上1.0及2.0版本的虚拟现实建模语言CAVE墙式显示屏自动声象虚拟场境Audio-VisualExperienceAutomaticVirtualEnvironment基本概念:虚拟现实技术(八)应用和需求是技术发展的推动力1)军事美国国防部和军方认为:虚拟现实将在武器系统性能评价、武器操纵训练及指挥大规模军事演习三方面发挥重大作用。他们制定了战争综合演示厅计划、防务仿真交互网络计划、综合战役桥计划、及虚拟座舱、卫星塑造者等应用环境,并在核武器试验及许多局部战争中进行了应用,不仅节省了大量的军事费用,更重要的是提高了现代化作战指挥方面能力。基本概念:虚拟现实技术(九)2)航天航空美国宇航局是虚拟现实最早研究的单位和应用者。宇宙飞船及各类航空器是需耗费巨资的现代化工具,而进入宇宙有大量未知、危险的因素,因而模拟各种航空器可能遇到的环境,不仅可节省大量费用,而且是十分必要的。虚拟风洞就是一例。基本概念:虚拟现实技术(十)3)计算机辅助设计虚拟样机、虚拟建筑物工业产品均需要反复构思和设计,但用户往往仍不满意。可否在设计早期就给用户一个逼真的产品样机?美国波音公司Butler设计了一个称为VS-X的虚拟飞机,它可使设计人员有身临其境观察飞机外形、内部结构及布局的效果;建筑设计师可在盖楼前通过虚拟建筑物,让用户自己来观察外形和内部房间部位,也便于设计师修改设计。基本概念:虚拟现实技术(十一)4)外科手术和人体器官的模拟外科医生的培训是一项投资大、时间长的工作,这是因为不能随便让实习医生在病人身上动手术。可是不亲自动手,又如何学会手术呢?虚拟手术台已能部分模仿外科医生的现场。同样,提供模拟的人体器官,可让学生逼真地观察器官内部的构造和病灶,具有极高的实验价值。基本概念:虚拟现实技术(十二)5)科学研究和计算的可视化各种分子结构模型、大坝应力计算的结果、地震石油勘探数据处理等,均十分需要三维(甚至多维)图形可视化的显示和交互浏览,虚拟现实技术为科学研究探索微观形态等提供了形象直观的工具。基本概念:虚拟现实技术(十三)6)远程控制虚拟现实可采用遥控手段,通过机械手、机器人对危险或有毒环境进行操作。基本概念:虚拟现实技术(十四)7)教育、游戏与其他这是向人们、尤其是青少年提供生动的课堂和娱乐手段的好机遇,它具有三维声象效果、能进行交互操作的功能,因而已为商家们看好,纷纷开发低档虚拟现实产品。如虚拟博物馆,网上景点浏览。虚拟房间积木世界基本概念:虚拟现实技术(十五)虚拟现实的适用特点:1.需要高成本制造的设备,如航天器,军用设备。2.对人有危险的环境,如核试验、飞行训练。3.目前尚未出现的环境,如建筑物、天体物理基本概念:虚拟现实技术(十六)1992年Bryson主计算机数据手套(传感器)(信号源)BOOM双筒全方位监视器关键技术(系统框图)基本概念:虚拟现实技术(十七)关键技术:1.大规模数据的场景建模技术;2.动态实时的立体视觉、听觉等生成技术;3.三维定位、方向跟踪、触觉反馈等传感技术和设备;4.符合人类认知心理的三维自然交互技术;5.三维交互软件及系统集成技术基本概念:虚拟现实技术(十八)关键技术:影响(沉浸感)立体视觉因素宽视野(180X150)立体显示彩色高分辨率头部跟踪基本概念:虚拟现实技术(十九)关键技术:视觉设备红蓝滤色眼镜三维头盔显示器(HMD)双筒全方位监视器(BOOM)墙式显示屏自动声象虚拟场境(CAVE)基本概念:虚拟现实技术(二十)关键技术:双眼立体视图的生成三维场景上任一点P(x,y,z),对于左右眼视点L、R,在投影平面z=0上的成象点Pl(xl,yl)、Pr(xr,yr)计算如下:xl=(x*k-z*d/2)/(k+z)xr=(x*k+z*d/2)/(k+z)yl=yr=y*k/(k+z)可推导得:xl=(x+d/2)/(1+z/k)-d/2xr=(x-d/2)/(1+z/k)+d/2可用硬件实现基本概念:虚拟现实技术(二一)关键技术:听觉:3D&Stereo声源定位:强度(高频)和时差(低频)问题:声音从头里发出,随强度差而偏左或偏右原因:与耳朵形状有关解决:耳内录音+计算基本概念:虚拟现实技术(二二)关键技术:触觉(Haptic)Haptic:机械感受器(压力与纹理)与本体感受器(proprioceptor)(重量、形状、大小)机械臂,空气囊,记忆金属,小马达,小探针。Sandpaper(Minsky,1990)将小马达连到游戏杆;搅动三维操纵棍,力反馈原理图基本概念:虚拟现实技术(二三)关键技术:适当的(简单的)触觉和/或听觉提示与反馈能极大地改善人机交互质量两个基本的性能指标:帧频10fps,响应时间0.1s基本概念:虚拟现实技术(二三)关键技术:身体跟踪:位置的跟踪(位置+方向)及角度的度量(指关节、光纤);眼动跟踪位置跟踪技术:正交电磁场Polhemustrackers超声波信号Logitec.MattelPowerGlove机械连接FakeSpaceLabs视频信号处理MyronKruegerLED视频传感UNCatChapelHill惯性跟踪(加速度)SpaceballDHM手势传感装置原理图PowerGlove示意图三维鼠标器示意图基本概念:虚拟现实技术(二四)关键技术:市场上已有的产品:(硬件)液晶开关的体视眼镜SEGALCDGlasses,StereoGraphicsCrystalEyes,Toshiba3DScopeLCDGlasses三维头盔显示器(HMD)LEEPSystemsCyberface2/3PolhemusLaboratoriesLookingGlassRPIHMSI(Head-MountedSensoryInterface)VirtualRealityGroupHMDVirtualResearchFlightHelmet基本概念:虚拟现实技术(二五)关键技术:市场上已有的产品:(硬件)控制和接口设备:VPLDataGlove(数据手套)MattelPowerGloveGlobal3Dcontroller(三维定位器)Logitech3DMouseandHeadTracker(三维鼠标、头部跟踪器)PolhemusIsotrak/FastrakISCANHead-MountedEyeImagingSystem(视线跟踪器)SENSibleTechnologiesPHANToM(触觉反馈设备)头盔系统跟踪系统三维触觉系统交战技能训练