第二章虚拟现实系统的硬件设备简述:本章将介绍视觉感知设备、听觉感知设备、触觉和力反馈设备、位置跟踪设备及虚拟现实的计算设备等知识。请自行查阅市场上相关的主流产品。教学重点难点:1、人的视听觉感知模型;2、各种硬件设备的工作原理;3、各种硬件设备的性能指标;4、各种硬件设备的优缺点。虚拟现实系统硬件配置示意图:表2.1人的感觉器官对应的各种接口设备人的感官说明接口设备视觉感觉各种可见光显示器或投影仪等听觉感觉声音波耳机、喇叭等嗅觉感知空气中的化学成分气味放大传感装置味觉感知液体中的化学成分触觉皮肤感知温度、压力和纹理等触觉传感器力觉肌肉等感知的力度力觉传感器身体感觉感知肌体或身躯的位置与角度数据仪前庭感觉平衡感知动平台2.1视觉感知设备概述•2.1.1人类视觉模型•1.视觉生理结构眼球为人眼的视觉器官,主要由角膜、晶状体、玻璃体及视网膜等组成一套光学系统。大脑皮层(CerebralCortex)是大脑半球的最外层,他负责各种形式的感觉。视网膜(Retina)是每只眼背部的神经细胞的多层膜,它把光转成电信号,并通过视神经和管道传给大脑。2.视觉因素(1)立体视觉(2)屈光度(3)瞳孔(4)分辨率(5)明暗适应(6)周围视觉和中央视觉(7)视觉暂留(8)视场立体视觉:对同一个场景,两眼得到稍有差别的视图,左视区的信息,送到两眼视网膜的右侧。在视交叉处,左眼的另一半神经纤维交叉到大脑的右半球,另一半神经纤维直接到大脑的左半球,这样,两眼得到的左视区的所有信息,都送到右半球。hmd(头盔显示器)提供两个显示,不但应保持双目视差,而且应该重叠,实际上,由于两眼有6.5cm的瞳距,所以两者视场总有些差别,有不重叠的区域。•视觉暂留是视网膜的电化学现象造成视觉的反应时间。其原理是当人的眼睛看到一幅画面或一个物体后,在1/24s内不会消失。也就是说如果每秒更替24幅或更多的画面,则前一幅画面在人脑中消失之前,下一个画面就会进入人脑,从而形成了连续的影像。•现有的VR技术,已经考虑的因素包括立体视觉,分辨力,视觉暂留以及视场,能够提供理想的立体视觉效果,实现较强的视觉沉浸。2.1.2视觉感知设备•1.头盔显示器(HeadMountedDisplay,HMD)通常,头盔显示器的显示屏采用两个LCD或者CRT显示器分别向两只眼睛显示图像,这两个图像由计算机分别驱动,两个图像存在着微小的差别,类似于“双眼视差”。大脑将融合这两个图像获得深度感知,得到一个立体的图像。根据显示表面的不同,头盔显示器主要分为基于LCD头盔显示器、基于CRT头盔显示器和基于VRD头盔显示器。1)基于LCD头盔显示器LCD显示技术是以低电压产生彩色图像,但其图像清晰度比较低。包括EyePhone、FlightHelmetCyberfaceⅡ、Tire1HMSI1000各种类型的头盔显示器2)基于CRT的头盔显示器CRT称为阴极射线管。基于CRT的头盔显示器是使用电子快门等技术实现双眼立体显示的,提供小的高分辨率、高亮度的单色显示。但其CRT较重、存有高电压,佩戴较危险,视场较小,缺乏沉浸感。HMD-131Datavision9CDMD3)基于VRD的头盔显示器VRD(VirtualRealityDisplay)的目标是产生全彩色、宽视场、高分辨率、低价格的虚拟现实立体显示。2.立体眼镜显示系统目前主要有:有源眼镜和无源眼镜又称:主动立体眼镜、被动立体眼镜3.洞穴式立体显示系统使用投影系统,投射多个投影面,形成房间式的空间结构,使得围绕观察者具有多个图像画面显示的虚拟现实系统,增强了沉浸感。4.响应工作台立体显示系统计算机通过多传感器交互通道向用户提供视觉、听觉、触觉等多模态信息,具有非沉浸式、支持多用户协同工作的立体显示装置。类似于绘图桌形式的背投式显示器,通常采用主动式立体显示方式。RWB的工作示意图V_Desk6工作示意图5.墙式立体显示系统此系统类似于放映电影形式的背投式显示设备。目前常用的包括单通道立体投影系统和多通道立体投影系统。单通道立体投影系统6.裸眼立体显示系统其显示技术结合双眼的视觉差和图片三维的原理,自动生成两幅图片,一幅给左眼看,另一幅给右眼看,使人的双眼产生视觉差异。由于双眼观看液晶的角度不同,因此不用戴上立体眼镜就可以看到立体的图像。液晶显示器原理图2.2听觉感知设备概述虚拟现实系统中已经考虑到的人耳因素包括:声音方向,声音舞台,以及头部有关的传递函数。听觉感知设备的特性:1)全向三维定位特性2)三维实时跟踪特性虚拟现实技术中所采用的听觉感知设备主要有耳机和扬声器两种。2.3触觉和力反馈设备在虚拟环境中的触觉反馈设备目前只能提供最基本的“触到了”的感觉,无法提供材质、纹理和温度的感觉,并且触觉反馈装置仅局限于手指触觉反馈装置。可分为:基于视觉式、充气式、振动式、电刺激式和神经肌肉刺激式5类装置。膨胀气泡技术存在一些固有的困难,导致现在充气式反馈装置暂时停产。Johnson制造出一个轻型“可编程接触仿真器”并取得了专利,它使用轻型的形状记忆合金驱动器来减少重量。力反馈设备是运用先进的技术手段跟踪用户身体的运动,将其在虚拟物体的空间运动转换成对周边物理设备的机械运动,并施加力给用户,使用户能够体验到真实的力度感和方向感,从而提供一个立即的、高逼真的、可信的真实交互。常见的设备包括:力反馈鼠标、力反馈操作杆、力反馈手臂以及力反馈手套。力反馈设备示例及其原理力反馈手臂装置示意图2.4位置跟踪设备主要任务是检测有关对象的位置和方位,并将位置和方位信息报告给虚拟现实系统。目前,用于跟踪用户的方式有两种:一是跟踪头部位置与方位来确定用户的视点与视线方向,而视点位置与视线方向是确定虚拟世界场景显示的关键。另一种就是跟踪用户手的位置和方向,这是带有跟踪系统的数据手套所获取的关键信息。机械式位置跟踪设备使用连杆装置组成,通过机械连杆上多个带有精密传感器的关节与被测物体相接触的方法来检测其位置变化。电磁式位置跟踪设备利用磁场的强度进行位置和方位跟踪。包括发射器、接收器、接口和计算机。超声波位置跟踪装置:一般采用20kHz以上的超声波,人耳听不到,不会对人产生干扰,目前是所有跟踪技术中成本最低的。它由三个超声发射器的阵列、三个超声接收器以及用于启动发射同步信号的控制器三部分组成。光学式位置跟踪设备其原理是使用光学感知来确定对象的实时位置和方向。惯性位置跟踪设备原理是通过盲推(deadreckoning)得出被跟踪物体的位置,即完全通过运动系统内部的推算,不设计外部环境就可以得到位置信息。目前常用设别由定向陀螺和加速计组成。混合位置跟踪设备