虚拟现实增强技术综述

虚拟现实增强技术综述曾玮峰中南大学信息科学与工程学院摘要随着近年来计算机三维处理能力的增长和低成本传感显示元件的出现,虚拟现实得到了快速发展,特别是与现实世界产生了越来越多的结合技术,从虚拟和现实的两个角度对虚拟现实进行增强。论文重点围绕近几年的发展趋势,论述了增强现实与增强虚拟环境的技术特点,介绍了虚拟现实增强技术的相关硬件设备发展;然后分别介绍了增强现实和增强虚拟环境技术的发展现状,讨论了移动互联网上的虚实增强技术与应用,最后进行总结并提出需要解决的问题。关键词增强虚拟环境增强现实虚实增强混合现实1引言虚拟现实技术建立人工构造的三维虚拟环境,用户以自然的方式与虚拟环境中的物体进行交互作用、相互影响,极大扩展了人类认识世界,模拟和适应世界的能力。虚拟现实技术从20世纪60∼70年代开始兴起,90年代开始形成和发展,在仿真训练、工业设计、交互体验等多个应用领域解决了一些重大或普遍性需求,目前在理论技术与应用开展等方面都取得了很大的进展。虚拟现实的主要科学问题包括建模方法、表现技术、人机交互及设备这三大类,但目前普遍存在建模工作量大,模拟成本高,与现实世界匹配程度不够以及可信度等方面的问题。图1虚拟现实、增强现实和混合现实搜索量统计对比(来源:Googletrends,2004。01∼2014。06)针对这些问题,已经出现了多种虚拟现实增强技术,将虚拟环境与现实环境进行匹配合成以实现增强,其中将三维虚拟对象叠加到真实世界显示的技术称为增强现实,将真实对象的信息叠加到虚拟环境绘制的技术称为增强虚拟环境。这两类技术可以形象化地分别描述为“实中有虚”和“虚中有实”。虚拟现实增强技术通过真实世界和虚拟环境的合成降低了三维建模的工作量,借助真实场景及实物提高了用户体验感和可信度,促进了虚拟现实技术的进一步发展。搜索热度代表了大众对于该词的关注程度,一般来说,新技术会引起搜索高潮,然后慢慢下降,在技术取得突破或出现某热点事件时激增,最终趋于稳定。我们使用Googletrends对比了虚拟现实,增强现实,增强虚拟环境和混合现实等词的全球搜索热度,为了有所参照,以人机交互(HCI)作为参考,搜索结果对比如图1所示。可以看出,和人机交互一样,虚拟现实的搜索热度逐渐下降并趋于稳定,这说明虚拟现实技术正在成熟中,逐渐被大众所接受,其中最近的峰值是Facebook收购虚拟现实眼镜企业Oculus。与之相反,增强现实的关注度在2008年开始迅速上升,并连续出现多个热度高峰,通过查看其关联新闻可以发现,其热度主要是2007年Apple公司发布iPhone,移动互联网兴起所推动,特别是在摄像头加上陀螺仪成为智能手机的标配,为增强现实技术提供了充分的发展空间。这其中Google眼镜和网上虚拟试衣吸引了很多关注度。而增强虚拟现实,增强虚拟环境,增强虚拟(augmentedvirtuality)等词的搜索量远小于以上热词的量级,反映了增强虚拟环境技术还有待于突破,尚未出现重要事件。可以看出,对虚拟现实技术进行增强正发展成为重要的方向,具有很大的发展潜力。本文重点围绕近几年虚拟现实增强技术的发展趋势,首先论述了技术特点,介绍了相关的硬件设备发展,然后分别介绍了增强现实和增强虚拟环境技术的发展现状,考虑到移动互联网是信息技术发展的又一次革命,简介并讨论了移动互联网上的虚实增强技术与应用,接下来结合作者参与ISO/IECJTC1SC24分技术委员会的工作,介绍了相关国际标准制定的最新情况,最后进行总结并给出了几个需要解决的问题。2技术特点现在业内普遍认可:从真实世界到虚拟环境中间经过了增强现实与增强虚拟环境这两类虚拟现实增强技术。国际上一般把真实世界(计算机视觉)、增强现实、增强虚拟环境、虚拟现实这4类相关技术统称为虚拟现实连续统一体(VRcontinuum)。与早期相比,增强现实或增强虚拟环境的概念已经发生了很大的变化,技术领域大为拓宽,但它们的技术特征都离不开如下3点:(1)将虚拟和现实环境进行混合;(2)实时交互;(3)三维注册。下面分别对增强现实与增强虚拟环境进行技术分析。需要说明的是,此处的“相机”是指广义上的视觉采集设备,不单包括摄像头,也包括红外深度相机、激光扫描仪等。增强现实技术通过运动相机或可穿戴显示装置的实时连续标定,将三维虚拟对象稳定一致地投影到用户视口中,达到“实中有虚”的表现效果。如图2所示,真实世界是我们所处的物理空间或其图像空间,其中的人和竖立的VR牌是虚拟对象,随着视点的变化,虚拟对象也进行对应的投影变换,使得虚拟对象看起来像是位于真实世界的三维空间中。图2和3中的虚线对象代表虚拟环境对象,实线对象代表真实对象或其图像。图2增强现实技术“实中有虚”图3增强虚拟环境技术“虚中有实”图4TED2010上叠加真实影像的地图增强现实还有一个特殊的分支,称为空间增强现实(spatiallyaugmentedreality),或投影增强模型(projectionaugmentedmodel),将计算机生成的图像信息直接投影到预先标定好的物理环境表面,如曲面、穹顶、建筑物、精细控制运动的一组真实物体等。本质上来说,空间增强现实是将标定生成的虚拟对象投影到预设真实世界的完整区域,作为真实环境对象的表面纹理。与传统的增强现实由用户佩戴相机或显示装置不同,这种方式不需要用户携带硬件设备,而且可以支持多人同时参与,但其表现受限于给定的物体表面,而且由于投影纹理是视点无关的,在交互性上稍显不足。实际上,我国现在已经很流行的柱面、球面、各种操控模拟器显示以及多屏拼接也可以归为这一类。最著名的投影增强模型的是早期的“shaderlamps”。增强虚拟环境技术预先建立了虚拟环境的三维模型,通过相机或投影装置的事先或实时标定,提取真实对象的二维动态图像或三维表面信息,实时将对象图像区域或三维表面融合到虚拟环境中,达到“虚中有实”的表现效果。如图3所示,在虚拟环境中出现了来自于真实世界的实时图像,其中VR牌上的纹理和人体都来自于相机采集的图像,人体甚至可以是实时的三维对象及其表面纹理图像。与增强现实中存在的投影增强模型技术正好相反,增强虚拟环境技术中也有一类对应的技术,用相机采集的图像覆盖整个虚拟环境,即作为虚拟环境模型的纹理,用户可以进行高真实感的交互式三维浏览。当这种三维模型是球面、柱面、立方体等通用形状的内表面时,这种技术也就是现在已经很普及的全景(panorama)图片或视频。全景视频将真实世界的一幅鱼眼或多幅常规图像投影到三维模型上,构造出单点的全方位融合效果,多幅图像之间的拼接可以是图像特征点匹配或相机预先标定等方式。微软Bing地图架构师Arcas在TED2010的演讲中演示了一种新颖地图应用研究,在全景图片增加实时视频内容的叠加,如图4所示。这种增强方式可以反映同一地点各种影像的空间几何关系,用户可以自由浏览全景,就像在现场一样,产生了更加真实的虚拟环境效果。表1ISMAR(2008∼2012)发表S&T论文分方向统计IEEEISMAR(InternationalSymposiumonMixedandAugmentedReality)是专门讨论虚拟现实增强技术的国际会议,发表的论文包括两类:科技(Science&Technology,S&T)论文和艺术人文(Arts,Media&Humanities,AMH)论文。其微软学术搜索计算的H因子为41,从1999年到2011年间共发表论文753篇,引用总计7514次(其中自引992次),特别是从2004年开始引用频次明显提高2)。Zhou等在2008年综述了ISMAR及其前身会议的10年间发表S&T论文情况,相机跟踪、交互、标定、应用、显示和移动AR是最主要的6个方向,而高引用论文分布的前几个方向主要是相机跟踪、交互、标定、应用、编著和移动AR。可以看出,当前相机跟踪、交互和标定是虚拟现实增强技术研究关注的热点,另外,应用模式也是业内正在积极探索的内容,应用(含移动应用)及其引用比例均能够占整个会议的1/5。本文还对ISMAR2008年至2012的论文(regularpaper)进行了统计,同样按照前述的几个方向进行分类。从表1和表2可以看出,在近几年的发展中,热门方向大致分布不变,相机跟踪和交互依然占主导地位,尤其是近5年来的最佳论文奖有3篇研究相机追踪而AR应用和移动AR的探索明显增多,验证了移动互联网的影响与推动。IEEEVR(IEEEVirtualRealityConference)是IEEE关于虚拟现实技术的专业国际会议,虚拟现实增强技术也是其接受的论文主题之一。该会议源于1993年的会议VirtualRealityAnnualInter-nationalSymposium。根据微软学术搜索,20多年间共发表论文461篇,引用总计6511次(其中自引144次)。该会议一般包括长文(LongPaper)和短文(ShortPaper),近年来部分长文会被推荐至IEEETrans.Vis.Comput.Graph发表。本文统计了IEEEVR近5年发表论文情况,如表3所示,相机跟踪与标定、交互、AR应用依然是最主要的研究方向,但相比于ISMAR,多出了重点研究方向——感知。IEEEVR的文章以系统级应用为主,覆盖面广于ISMAR,AR应用、交互、感知、跟踪和图形是前5个研究方向,其论文数量约占论文总数的78.5%。表2ISMAR(2008∼2012)不同方向的高引用论文比例表3IEEEVR(2009∼2013)发表论文分方向统计3相关硬件设备发展虚拟现实增强技术需要与真实世界相结合,不可避免需要相机等传感装置及显示设备,因此相关硬件设备的发展对该技术有着重要的影响。近年来,摄像头质量的提高和普及,红外安全激光技术的成熟和消费级产品出现都大大促进了虚拟现实增强技术的进步和应用。本节简介增强现实与增强虚拟环境常用硬件设备的最新发展情况。3.1相机摄像头是增强现实技术最重要的硬件设备,大量的相机跟踪和标定技术都是以简单摄像头为基本配置。摄像头作为一种廉价、标准、易于获取和集成的采集设备,有着巨大的市场需求,业内竞争极其激烈。特别是随着智能手机的出现,一直处于高速发展中。前后双摄像头已经成为了智能手机的标准配置。现代的摄像头成本越来越低,尺寸越来越小,分辨率越来越高,成像质量也越来越好。据报道,iPhone元件供应商之一,Lead-mall出售的800万像素摄像头模块价格仅为9美元。2013年7月30日,Apple公司的一项面向移动设备的摄像头专利获得授权引起大量关注,这项技术具有3传感器,3镜头的设计,据称能大幅度提高成像质量。Nokia公司在2012年2月27日发布了第一款高达4100万像素的手机,基于塞班系统的Nokia808,接着在2013年7月11日发布了基于WindowsPhone平台的Lumia1020手机。Lumia1020也配置了4100万像素摄像头,可以捕捉分辨率为3800万像素、采样500万像素的图像。上述硬件设备的发展不但使智能手机拍照功能竞争加剧,而且对数码相机产业甚至高端的单反相机前景都形成了新的挑战。全景包含了全方位的图像信息,在可视角度和交互性上具有优势。目前,全景图像的合成主要来源于3种:普通相机拍摄、软件后期合成和全景相机拍摄。其中普通相机拍摄是让同一相机进行连续微小运动,拼接得到的多帧图像,从而合成出全景图像。软件后期合成则是完全依靠图像特征点匹配等方法对重叠的图像进行拼接。上述两种方法缺点都是不能做到连续实时地合成全景视频,如果要得到高质量的全景图像还需要手工图像处理,工作量较大。全景摄像机通过事先标定方式,可在采集或回放时实时拼接合成,得到连续实时的全景视频,后续工作量小,适合实现大范围无死角的全景监控。全景摄像机大致可以分为单成像传感器型和多成像传感器型两大类。在单成像传感器全景摄像机中又可以分为球面折反式和鱼眼式。球面折反式是在常规单镜头摄像机前面安装一个球面反射镜,通过对入射光线的折反来实现对周边区域的360◦环视。由于在摄像机的正前方安装了一个反射镜