虚拟现实增强技术综述24

评述中国科学:信息科学2015年第45卷第2期:157{180www.scichina.cominfo.scichina.com引用格式:周忠,周颐,肖江剑.虚拟现实增强技术综述.中国科学:信息科学,2015,45:157{180,doi:10.1360/N112014-00076虚拟现实增强技术综述周忠¬*,周颐¬,肖江剑­¬北京航空航天大学虚拟现实技术与系统国家重点实验室,北京100191­中国科学院宁波工业技术研究院,宁波315201*通信作者.E-mail:[e-mail]收稿日期:2014–04–08;接受日期:2014–07–07;网络出版日期:2014–12–16国家自然科学基金(批准号:61170188,61273276)和国家高技术研究发展计划(“863”计划)(批准号:2012AA011801,2012AA011803)资助项目摘要随着近年来计算机三维处理能力的增长和低成本传感显示元件的出现,虚拟现实得到了快速发展,特别是与现实世界产生了越来越多的结合技术,从虚拟和现实的两个角度对虚拟现实进行增强.论文重点围绕近几年的发展趋势,论述了增强现实与增强虚拟环境的技术特点,介绍了虚拟现实增强技术的相关硬件设备发展;然后分别介绍了增强现实和增强虚拟环境技术的发展现状,讨论了移动互联网上的虚实增强技术与应用,并结合作者参与ISO/IEC的工作,介绍了相关国际标准制定最新情况;最后进行总结并提出需要解决的问题.关键词增强虚拟环境增强现实虚实增强混合现实1引言虚拟现实技术建立人工构造的三维虚拟环境,用户以自然的方式与虚拟环境中的物体进行交互作用、相互影响,极大扩展了人类认识世界,模拟和适应世界的能力.虚拟现实技术从20世纪6070年代开始兴起,90年代开始形成和发展,在仿真训练、工业设计、交互体验等多个应用领域解决了一些重大或普遍性需求,目前在理论技术与应用开展等方面都取得了很大的进展.虚拟现实的主要科学问题包括建模方法、表现技术、人机交互及设备这三大类,但目前普遍存在建模工作量大,模拟成本高,与现实世界匹配程度不够以及可信度等方面的问题[1].针对这些问题,已经出现了多种虚拟现实增强技术,将虚拟环境与现实环境进行匹配合成以实现增强,其中将三维虚拟对象叠加到真实世界显示的技术称为增强现实,将真实对象的信息叠加到虚拟环境绘制的技术称为增强虚拟环境.这两类技术可以形象化地分别描述为“实中有虚”和“虚中有实”.虚拟现实增强技术通过真实世界和虚拟环境的合成降低了三维建模的工作量,借助真实场景及实物提高了用户体验感和可信度,促进了虚拟现实技术的进一步发展.搜索热度代表了大众对于该词的关注程度,一般来说,新技术会引起搜索高潮,然后慢慢下降,在技术取得突破或出现某热点事件时激增,最终趋于稳定.我们使用Googletrends对比了虚拟现实,增强现实,增强虚拟环境和混合现实等词的全球搜索热度,为了有所参照,以人机交互(HCI)作为参考,搜索结果对比如图1所示.可以看出,和人机交互一样,虚拟现实的搜索热度逐渐下降并趋于稳定,这说周忠等:虚拟现实增强技术综述VirtualrealityAugmentedrealityHClasreferencetopicMixedrealityAveragesearches20052007200920112013图1虚拟现实、增强现实和混合现实搜索量统计对比(来源:Googletrends,2004.012014.06)Figure1Thesearchcomparisonofvirtualreality,augmentedreality,andmixedreality(fromGoogletrends,2004.012014.06)明虚拟现实技术正在成熟中,逐渐被大众所接受,其中最近的峰值是Facebook收购虚拟现实眼镜企业Oculus.与之相反,增强现实的关注度在2008年开始迅速上升,并连续出现多个热度高峰,通过查看其关联新闻可以发现,其热度主要是2007年Apple公司发布iPhone,移动互联网兴起所推动,特别是在摄像头加上陀螺仪成为智能手机的标配,为增强现实技术提供了充分的发展空间.这其中Google眼镜和网上虚拟试衣吸引了很多关注度.而增强虚拟现实,增强虚拟环境,增强虚拟(augmentedvirtuality)等词的搜索量远小于以上热词的量级,反映了增强虚拟环境技术还有待于突破,尚未出现重要事件.可以看出,对虚拟现实技术进行增强正发展成为重要的方向,具有很大的发展潜力.本文重点围绕近几年虚拟现实增强技术的发展趋势,首先论述了技术特点,介绍了相关的硬件设备发展,然后分别介绍了增强现实和增强虚拟环境技术的发展现状,考虑到移动互联网是信息技术发展的又一次革命,简介并讨论了移动互联网上的虚实增强技术与应用,接下来结合作者参与ISO/IECJTC1SC24分技术委员会的工作,介绍了相关国际标准制定的最新情况,最后进行总结并给出了几个需要解决的问题.2技术特点现在业内普遍认可:从真实世界到虚拟环境中间经过了增强现实与增强虚拟环境这两类虚拟现实增强技术[2].国际上一般把真实世界(计算机视觉)、增强现实、增强虚拟环境、虚拟现实这4类相关技术统称为虚拟现实连续统一体(VRcontinuum).与早期相比,增强现实或增强虚拟环境的概念已经发生了很大的变化,技术领域大为拓宽,但它们的技术特征都离不开如下3点:(1)将虚拟和现实环境进行混合;(2)实时交互;(3)三维注册.下面分别对增强现实与增强虚拟环境进行技术分析.需要说明的是,此处的“相机”是指广义上的视觉采集设备,不单包括摄像头,也包括红外深度相机、激光扫描仪等.增强现实技术通过运动相机或可穿戴显示装置的实时连续标定,将三维虚拟对象稳定一致地投影到用户视口中,达到“实中有虚”的表现效果.如图2所示,真实世界是我们所处的物理空间或其图像空间,其中的人和竖立的VR牌是虚拟对象,随着视点的变化,虚拟对象也进行对应的投影变换,使得虚拟对象看起来像是位于真实世界的三维空间中.图2和3中的虚线对象代表虚拟环境对象,实线对象代表真实对象或其图像.增强现实还有一个特殊的分支,称为空间增强现实(spatiallyaugmentedreality)[3],或投影增强模型(projectionaugmentedmodel)[4],将计算机生成的图像信息直接投影到预先标定好的物理环境表面,如曲面、穹顶、建筑物、精细控制运动的一组真实物体等.本质上来说,空间增强现实是将标定生成的158中国科学:信息科学第45卷第2期图2增强现实技术\实中有虚Figure2Augmentedrealitymixedthevirtualobjectintorealworld图3增强虚拟环境技术\虚中有实Figure3Augmentedvirtualenvironmentmixedtherealobjectintovirtualenvironment图4TED2010上叠加真实影像的地图Figure4Augmented-realitymapsinTED2010虚拟对象投影到预设真实世界的完整区域,作为真实环境对象的表面纹理.与传统的增强现实由用户佩戴相机或显示装置不同,这种方式不需要用户携带硬件设备,而且可以支持多人同时参与,但其表现受限于给定的物体表面,而且由于投影纹理是视点无关的,在交互性上稍显不足.实际上,我国现在已经很流行的柱面、球面、各种操控模拟器显示以及多屏拼接也可以归为这一类.最著名的投影增强模型的是早期的“shaderlamps”[4].增强虚拟环境技术预先建立了虚拟环境的三维模型,通过相机或投影装置的事先或实时标定,提取真实对象的二维动态图像或三维表面信息,实时将对象图像区域或三维表面融合到虚拟环境中,达到“虚中有实”的表现效果.如图3所示,在虚拟环境中出现了来自于真实世界的实时图像,其中VR牌上的纹理和人体都来自于相机采集的图像,人体甚至可以是实时的三维对象及其表面纹理图像.与增强现实中存在的投影增强模型技术正好相反,增强虚拟环境技术中也有一类对应的技术,用相机采集的图像覆盖整个虚拟环境,即作为虚拟环境模型的纹理,用户可以进行高真实感的交互式三维浏览.当这种三维模型是球面、柱面、立方体等通用形状的内表面时,这种技术也就是现在已经很普及的全景(panorama)图片或视频.全景视频将真实世界的一幅鱼眼或多幅常规图像投影到三维模型上,构造出单点的全方位融合效果,多幅图像之间的拼接可以是图像特征点匹配或相机预先标定等方式.微软Bing地图架构师Arcas在TED2010的演讲中演示了一种新颖地图应用研究,在全景图片增加实时视频内容的叠加1),如图4所示.这种增强方式可以反映同一地点各种影像的空间几何关系,用户可以自由浏览全景,就像在现场一样,产生了更加真实的虚拟环境效果.1)ArcasBAy.Augmented-realitymaps.TEDTalks,2010.159周忠等:虚拟现实增强技术综述表1ISMAR(20082012)发表S&T论文分方向统计Table1ARresearchcategoriesintheliteraturesetofISMAR(20082012)Category20082009201020112012TotalPercentage(%)Tracking448863023.4Interaction167031713.3ARApp.333521612.5MobileAR440341511.7Evaluation42220107.8Display4220197.0Rendering1100464.7Calibration2001143.1Visualization1101143.1Modeling0101132.3MultimodalAR1000010.8Others102551310.2Summary2624242628128100.0IEEEISMAR(InternationalSymposiumonMixedandAugmentedReality)是专门讨论虚拟现实增强技术的国际会议,发表的论文包括两类:科技(Science&Technology,S&T)论文和艺术人文(Arts,Media&Humanities,AMH)论文.其微软学术搜索计算的H因子为41,从1999年到2011年间共发表论文753篇,引用总计7514次(其中自引992次),特别是从2004年开始引用频次明显提高2).Zhou等[5]在2008年综述了ISMAR及其前身会议的10年间发表S&T论文情况,相机跟踪、交互、标定、应用、显示和移动AR是最主要的6个方向,而高引用论文分布的前几个方向主要是相机跟踪、交互、标定、应用、编著和移动AR.可以看出,当前相机跟踪、交互和标定是虚拟现实增强技术研究关注的热点,另外,应用模式也是业内正在积极探索的内容,应用(含移动应用)及其引用比例均能够占整个会议的1/5.本文还对ISMAR2008年至2012的论文(regularpaper)进行了统计,同样按照前述的几个方向进行分类.从表1和表2可以看出,在近几年的发展中,热门方向大致分布不变,相机跟踪和交互依然占主导地位,尤其是近5年来的最佳论文奖有3篇研究相机追踪.而AR应用和移动AR的探索明显增多,验证了移动互联网的影响与推动.IEEEVR(IEEEVirtualRealityConference)是IEEE关于虚拟现实技术的专业国际会议,虚拟现实增强技术也是其接受的论文主题之一.该会议源于1993年的会议VirtualRealityAnnualInter-nationalSymposium.根据微软学术搜索,20多年间共发表论文461篇,引用总计6511次(其中自引144次).该会议一般包括长文(LongPaper)和短文(ShortPaper),近年来部分长文会被推荐至IEEETrans.Vis.Comput.Graph发表.本文统计了IEEEVR