基于互联网与三维全景图片的虚拟现实景观交互系统的研究与实现

可视化计算与虚拟现实四川省重点实验室课题管理课题申请书课题名称：基于互联网与三维全景图片的虚拟现实景观交互系统的研究与实现起止年限：2010-11—2011-05所在单位：可视化计算与虚拟现实四川省重点实验室课题组长：刘元申请日期：2010-10电话、传真：[phone]电子邮件：[e-mail]可视化计算与虚拟现实四川省重点实验室二○○九年六月2一、申请简表申请者姓名刘元性别男民族汉出生年月1984.11所在单位可视化计算与虚拟现实实验室联系电话[phone]最后学历硕士研究生学位硕士专业技术职务工程师从事专业计算机运用项目研究类别虚拟现实申请金额（万元）研究课题课题名称基于互联网与三维全景图片的虚拟景观交互系统的研究与实现起止年月2010.11-2011.05参加人员总人数9高级1中级2初级2辅助人员2研究课题主要内容和意义摘要（字）全景图技术是一种基于图像的虚拟漫游技术（Image-basedRendering）。与几何建模虚拟漫游技术相比，它具有建模容易、真实感强、可以生成复杂场景等优点，因而得到广泛的应用。尽管基于全景图的虚拟漫游技术日趋成熟，但目前依然存在如下技术困局限制了应用：第一，视点单一，用户只能在固定的视点360度环视，视点与视点之间缺乏平滑过渡，用户无法获得在真实世界中沿着某条路径向前向后漫游的感受。第二，用户除了获得视觉体验以外，极大缺失对场景中的物体进行感知和交互。第三，虽然Google街景实现了路径漫游的技术，但数据信息过于庞大，对于网络用户而言延长了加载等待的时间。鉴于以上情况，本课题从机制上采用Actinscript3.0RIA技术，于互联网上实现Cube全景技术，用户通过flash播放器在网络上无障碍观看虚拟漫游场景；通过路径指引，实现多点全景并实现漫游推进过程中的图像自然过渡（沿路径漫游，类似Google街景）；对那些需要用户体验的要素，实现人机交互功能；通过控制图像采集量，找出相邻图像采集地点之间的距离与用户视觉感受之间的平衡值，采用Seamcarving图像变换算法，对冗余的图片信息进行压缩，显著减少网络用户等待加载的时间，实现系统对用户指令的即时响应。项目负责人李奇课题组长刘元参加人员姓名年龄职称学历专业在本课题中的分工签名何武28讲师硕士计算机系统设计钟维明27助研硕士计算机系统设计林志雄23学生学士教育技术3D设计严志雄20学生学士3D设计3D设计叶尧20学生学士3D设计3D设计李虹乐21学生学士数字媒体互联网前端设计李少杰22学生学士数字媒体图像采集3二．申请者简历(包括学历、工作经历与专长)、研究与开发经历及主要业绩（附代表性成果，项目或论文）：刘元，男，湖南常德人，1984年11月出生。毕业于兰州理工大学、北京邮电大学，硕士研究生学历，工学硕士学位。2007～2010年就读于北京邮电大学自动化学院，从事人机交互与虚拟现实方向研究。对真实感光照技术、虚拟设计制造、虚拟驾驶系统中的信息融合技术具备一定研究基础。2010年5月任瑞星信息技术有限公司交互设计与用户体验工程师；现为四川师范大学数字媒体系教师。曾参与多项横向和纵向项目，主要有：（1）基于网络的产品展示技术及其应用（国家科技支撑项目，2007年），本人负责解决真实感光照和纹理问题，以及将知识管理与智能导购引入虚拟展示平台的机制与技术问题，进而建立基于网络的多用户分布式智能虚拟产品交互展示平台。（2）某助推发射系统虚拟仿真与训练软件设计（中航工业成飞有限公司合作项目，2008年），本人负责产品CAD模型数据的管理方法与集成应用（3）新浪网房产部在线售楼系统“三维户型查看”模块设计及实现（2009年），本人担任项目负责人。论文见“申请者研究经历及主要研究业绩”部分。三．立论依据1、研究意义及国内外研究动态研究意义：基于互联网的虚拟交互一直是虚拟应用上的难点问题，本课题专题对此做应用基础研究，其预期的研究成果将有可能改变当前主流的基于几何建模的虚拟交互方式，从而从本质上构建出具实用价值、易于操作的，基于互联网的三维虚拟交互技术方法。其应用前景广阔。从国外的情况看，2007年5月30日，谷歌正式推出街景功能，能够浏览美国旧金山、拉斯韦加斯、纽约等城市街景。该范围已经扩展到了美国，法国，西班牙，意大利，荷兰，英国，澳大利亚，新西兰，日本等9个国家的135个城市。随着全球化和人员流动的加剧，人们希望尽快对一个陌生地区熟悉起来的意愿为这项新技术提供了广阔的前景。Google借助自有的谷歌地图服务推出街景服务，国内已经有city8公司开始推出类似的地图&全景虚拟漫游服务——而将本课题的成果应用在旅游行业无疑将会非常容易成功。该技术成果与目前被广泛采用的三维建模虚拟漫游比起来优点更显著：（1）无须建模，直接用摄像机拍摄旅游景点即可；（2）绝对的真实、无限复杂的景观与细节，这对表现旅游景点尤其是自然风光类型的旅游景点非常重要。（3）采用flash前端技术（95%的个人电脑上装有flashplayer），用户不需下载插件就能浏览虚拟漫游场景；（4）真正的实时加载场景信息，用户无需等待即可浏览虚拟漫游场景；（5）和谐自然的交互设计。（6）基于用户体验的设计开发流程，最佳的用户体验效果。由上可见，该技术成果非常适合旅游景点的展示、推广与营销，对四川这样一类具有丰厚旅游资源的省份意义重大。4国内外研究动态：1995年，APPLE公司推出QulckTimeVR系统，这个系统是全景图技术的典型代表；近期内随着商用系统的推出，IBR（Image-basedRendering）技术的研究进入了一个高潮，在短短的几年间，涌现出大批高效的算法，它们包括全景技术、基于深度信息的投影变形技术、光流场技术、混合式IBR技术、基于3D重构的IBR技术等。在国外，2007年5月30日，谷歌正式推出街景功能，立即拥有大量的用户群。在国内，中国科学院计算所实现了一个基于球面全景图固定视点室内漫游系统。清华大学则实现了一个基于柱面全景图的室内漫游系统。另外City8实现了谷歌街景的部分功能。从互联网客户端来看，Flash打败了javaapplet成为RIA（richinternetapplication丰富的互联网应用）的首选，因此一个发展趋势是全景漫游应用从Javaapplet移植过来，运行在flashplayer上面，越来越多的互联网用户通过嵌入在浏览器内部的flashplayer观看虚拟漫游场景。国内外也有不少基于Flash的单视点全景图制作与发布公司。总之，该课题研究具有良好的技术基础。值得一提的是，随着2008年5月flashplayer10的发布，flash播放器具备硬件加速的功能，对虚拟漫游场景的处理能力大大增强，它为用户在互联网上进行流畅的虚拟漫游体验提供了技术保障。2、本项目创新之处（1）在技术上，除了实现Google街景现有的技术以外，还实现了用户和虚拟漫游场景内容（物体）之间的交互。（2）在设计思想上，首次提出了虚拟漫游场景中的用户体验要素，并以可用性和用户体验要素为指导，完善方案设计。四、研究方案1、主要研究内容、预期目标全景图技术是一种基于图像的虚拟漫游技术（Image-basedRendering）。与几何建模虚拟漫游技术相比，它具有建模容易、真实感强、可以生成复杂场景等优点，因而得到广泛的应用。如Google近年推出的谷歌街景产品，受到全球互联网用户的青睐。尽管现在基于全景图的虚拟漫游技术已经日趋成熟，但存在如下的局限性从而无法给用户带来良好的体验：第一，视点是单一的，用户只能在固定的视点360度环视；即使建立了多个视点，用户能够切换视点以获取更多的场景信息，但是视点与视点之间缺乏平滑过渡，用户无法获得在真实世界中沿着某条路径向前向后漫游的感受。第二，用户除了获得视觉体验以外，无法很好地对场景中的物体进行感知和交互，体验比较单一。第三，虽然Google街景实现了路径漫游的技术，但它是以在真实场景中，每隔一段距离就采集一次图像信息实现的，结果造成数据信息过于庞大，对于网络用户而言延长了加载等待的时间。鉴于以上情况，本课题将重点研究以下内容：（1）基于网页和flash前端技术的多视点全景浏览技术；（2）虚拟景观相邻视点间的平滑过渡技术，研究虚拟摄像机在三维空间的镜头推进、缩放等运动方式对应的虚拟景观的变化，5以达到“完全漫游”的效果；（3）全景图片的拍摄方式、采样模式、采样数量及均匀性的研究；（4）针对当今主流的WIMP（Windows、Icons、Mouse、andPointing）界面的人机交互不自然和不协调的特点，建立用户与虚拟景观的自然和谐的人机交互；（5）图像压缩。基于全景图片的虚拟景观交互系统不可避免地面临着图像数据体积庞大的问题，怎样利用数据间的连贯性，找到合理的图像压缩机制是一个亟需解决的问题。技术难点：（1）沿路径漫游过程中，相邻视点图像之间的渐变切换过程需要符合用户的视觉感知习惯；（2）为了便于实时动态加载场景图像，需要对原始采集的图像进行切割分块。如何确定分块粒度大小和实时加载策略以保证良好的用户体验具有一定技术难度；（3）项目采用Actionscript3.0语言实现，由于Actionscript3.0是一种脚本语言，相对比较简单，用它实现复杂的图像处理算法也是需要解决的技术难题预期达到的技术目标：·国内核心期刊发表论文2篇·实现演示Demo系统设计：该系统实现类似谷歌街景的路径漫游技术，场景图像的质量、加载速度、用户等待时间等指标不低于谷歌街景，实现用户和虚拟漫游场景内容（物体）之间的交互。最终以一景区实例，实现具备良好用户体验的虚拟交互方案。2、拟采用的技术路线及研究方法首先是对实际景观进行图像采集。在景观的某条路径上插入一系列视点，在这些视点上用数码相机拍摄多角度的数张照片，采用线性插值法（LinearInterpolation）对这些照片进行拼接，得到每个视点的全景图像。采用Actinscript3.0RIA技术在互联网上实现Cube全景技术，让用户能够通过flash播放器在网络上无障碍观看单个视点的虚拟漫游场景；接下来，对虚拟摄像机的推进动作与全景图片在视口中变换的规律进行建模，解决摄像机沿着某条路径推进过程中的图像自然过渡问题（实现类似谷歌街景的沿路径漫游效果）；然后结合用户体验要素，研究用户在虚拟景观漫游系统中的注意力选择性分配机制，使虚拟景观中某些用户感兴趣的物体能够感知用户的行为，通过用户和景观和谐自然的交互提升用户体验；最后是优化工作：为了减少图像数据的大小，一是要控制图像的采集量，找出相邻图像采集地点之间的距离与用户视觉感受之间的平衡值；二是采用Seamcarving图像变换算法，对冗余的图片信息进行压缩。3、计划进度和阶段目标，预期成果形式2010年11月：调研、方案设计；2010年12月-2011年2月：采用Actinscript3.0RIA技术在互联网上实现全景漫游技术；并形成一个demo用于用户测试;2011年3月：完成可用性（usability）测试工作，提取用户体验要素；以用户体验要素和数据为依据，对系统的功能定义、界面设计、交互细节进行调整。62010年4月：优化设计；完成Seamcarving图像压缩技术的编程实现并完成最终版本；2011年5月：课题结题验收。五、研究基础1.申请者研究经历及主要研究业绩课题组长参加过的主要项目：（1）锦里虚拟漫游系统（包含单机版，网络版）；2010年四月（2）新浪网房产部在线售楼系统“三维户型查看”模块设计及实现；2009年（3）基于网络的产品展示技术及其应用（国家科技支撑项目，2007年），本人负责解决真实感光照和纹理问题，以及将知识管理与智能导购引入虚拟展示平台的机制与技术问题，进而建立基于网络的多用户分布式智能虚拟产品交互展示平台（4）某助推发射系统虚拟仿真与训练软件设计（中航工业成飞有限公司合作项目，2008年），本人负责产品CAD模型数据的管理方法与集成应用论文：产品概念创新设计知识框架的研究；