可视化、多媒体与虚拟现实仿真29

研究生学位课程－－系统建模与仿真2019/10/12飞行器工程系单家元博士18可视化、多媒体与虚拟现实仿真科学计算及仿真可视化多媒体仿真虚拟现实仿真研究生学位课程－－系统建模与仿真2019/10/12飞行器工程系单家元博士28.1科学计算可视化含义把计算中所涉及和所产生的数字信息转变为直观的、以图像或图形信息表示的、随时间和空间变化的物理现象和物理量呈现在研究者面前，使他们能够观察到模拟和计算，同时提供与模拟和计算的视觉交互手段。通过人的视觉和现象思维，促进对所观察数据的进一步理解，飞行客观世界隐藏的现象和规律。研究生学位课程－－系统建模与仿真2019/10/12飞行器工程系单家元博士38.1科学计算可视化可视化的三个层次后处理将计算与可视化（事后）分开进行。仅可视化可以交互。跟踪边计算，边显示，以监视计算过程，只可中止计算，但不能。修改参数驾驭实时观察计算结果，实时干预、调整参数研究生学位课程－－系统建模与仿真2019/10/12飞行器工程系单家元博士48.1科学计算可视化主要技术问题可视化映射技术数据类型：标量、矢量和张量；二维、三维或高维；静态，动态；结构化数据，非结构化数据映射：图形元素、颜色、透明度等数据管理与操纵技术数据管理：存储、分类数据操作：过滤、变换研究生学位课程－－系统建模与仿真2019/10/12飞行器工程系单家元博士58.1科学计算可视化主要技术问题人机界面技术：图形交互、数据交互系统实现技术：可视语言和程序可视研究生学位课程－－系统建模与仿真2019/10/12飞行器工程系单家元博士68.1科学计算可视化科学计算可视化框架模型模拟仿真数据操作可视化映射图形绘制用户界面用户数据图像可视化过程研究生学位课程－－系统建模与仿真2019/10/12飞行器工程系单家元博士78.2多媒体仿真多媒体仿真概念多媒体：文本、图形、动画、图像和声音多媒体仿真：使人的感官和思维进入仿真回路的一种手段。基本技术数字化信息处理技术；音频和视频技术；人工智能和模式识别技术；图形图像技术；通讯技术研究生学位课程－－系统建模与仿真2019/10/12飞行器工程系单家元博士88.2多媒体仿真多媒体仿真的研究方法面向仿真对象面向多个媒体面向交互决策研究生学位课程－－系统建模与仿真2019/10/12飞行器工程系单家元博士98.2多媒体仿真多媒体仿真的主要研究内容多媒体仿真模型和仿真算法表现方法与表现脚本生成技术多媒体仿真数据库地理景物表现技术人机交互技术研究生学位课程－－系统建模与仿真2019/10/12飞行器工程系单家元博士108.3虚拟现实仿真技术虚拟现实技术的特征及系统的基本构成虚拟现实技术的发展概况位置跟踪通道视觉通道听觉通道触觉/力反馈通道虚拟场景研究生学位课程－－系统建模与仿真2019/10/12飞行器工程系单家元博士118.3.1虚拟现实技术的特征及系统的基本构成基本概念虚拟现实（VirtualReality）：是一种可以创建和体验虚拟世界的计算机系统。虚拟环境（VirtualEnvironment）：是一种由计算机和电子技术生成的，通过视、听、触觉等作用于用户，使之产生身临其境的感觉。虚拟现实技术与一般交互式仿真技术的区别信息的多维性人机交互的自然性人对虚拟环境感觉的真实性知识性与智能性研究生学位课程－－系统建模与仿真2019/10/12飞行器工程系单家元博士128.3.1虚拟现实技术的特征及系统的基本构成基本特征沉浸(Immerion)：真实感受交互(Interaction)：多方位参与创意(Imagination)：感性与理性的结合基本技术计算机图形学、图象处理与模式识别人工智能、多传感器、多媒体信息处理网络、并行处理、智能控制系统建模与仿真、系统集成研究生学位课程－－系统建模与仿真2019/10/12飞行器工程系单家元博士138.3.1虚拟现实技术的特征及系统的基本构成虚拟现实系统基本构成虚拟环境产生器应用系统：目标生成（三维建模、造型）；用户应用系统（定义操作内容）和仿真管理器（管理仿真过程）计算机系统：高速的运算、图形处理、输入输出能力效果产生器头盔显示器：采用双视原理生成的双屏图象位置与方位跟踪器：人眼视线、眼球位置变化、手的位置方位和曲伸触觉/力反馈装置：测量人对作用对象的作用力，进而生成反作用力。接口设备硬件设备：信号转换与数据输入输出接口软件设备：研究生学位课程－－系统建模与仿真2019/10/12飞行器工程系单家元博士148.3.2虚拟现实发展状况发展立体电影飞行模拟器三维立体显示：1965年VR先锋，Sutherland力反馈装置：1981年，FredrickBrooks头盔显示器：1985年，MyronKrueger数据手套：1985年，ScottFisher,NASA虚拟现实概念：1989年，JaronLanier提出研究生学位课程－－系统建模与仿真2019/10/12飞行器工程系单家元博士158.3.2虚拟现实发展状况关键技术实时图形与图象：15帧/秒，8000万多边形位置跟踪与映射技术：手腕:3m/s;眼睛:600°/s;头部:1000°/s触觉/力反馈技术：0－1Khz振动，0.15mm位移人的心理因素：人的感知、认知和大脑神经系统集成技术：各种技术和设备接口不统一，没有统一的技术标准。研究生学位课程－－系统建模与仿真2019/10/12飞行器工程系单家元博士168.3.3位置跟踪通道参与者与虚拟环境的互动直接互动：参与者的操作引起环境的变化间接互动：参与者位置的变化（头、眼、手、身），导致环境必须随之变化位置跟踪技术：三维位置跟踪器：头的平移和转动、手或关节的运动，眼球的运动基本技术：电磁、超声波研究生学位课程－－系统建模与仿真2019/10/12飞行器工程系单家元博士178.3.3位置跟踪通道三维电磁传感器三套正交线圈：空间坐标、方位易受环境电磁干扰驱动电路计算机检测电路磁场发送器接收器输出研究生学位课程－－系统建模与仿真2019/10/12飞行器工程系单家元博士188.3.3位置跟踪通道超声波三维传感器三套超声波发送，接收及控制部件不能遮挡，易受金属干扰视景生成器计算机检测电路超声波发送器接收器(麦克风)头部输出头盔显示器控制单元研究生学位课程－－系统建模与仿真2019/10/12飞行器工程系单家元博士198.3.3位置跟踪通道数据手套一种位置跟踪设备，一种数字化输入设备手的6个自由度每个手指关节有两个光导纤维传感器，可测量关节的弯曲和相对位置研究生学位课程－－系统建模与仿真2019/10/12飞行器工程系单家元博士208.3.4视觉通道视景生成过程获取图象生成图形生成语音集合变换投影变换生成音乐声音、图象与文字的集成、融合与同步左声图通道右声图通道视景生成命令研究生学位课程－－系统建模与仿真2019/10/12飞行器工程系单家元博士218.3.4视觉通道三维立体图象的生成算法单点透视投影双点透视投影基于相关性的立体图形光线跟踪算法由左视点投影点可以计算出右视点投影点研究生学位课程－－系统建模与仿真2019/10/12飞行器工程系单家元博士228.3.4视觉通道立体视觉设备种类：头盔显示器，立体眼睛，投影式显示器头盔显示器显示部件：液晶显示屏。分辨率：1个微弧度，延时：0.1s，图象质量：丰富多彩，避免畸变。光学部件：光学系统使液晶成象于观察者能够看清的距离。（包括视场：双眼：水平180度，垂直135度）头盔：定位部件与功能部件的集中：显示、跟踪、定位与音响集成。尺寸重量。研究生学位课程－－系统建模与仿真2019/10/12飞行器工程系单家元博士238.3.5听觉通道虚拟声音的产生语音声音语音识别与合成：声音还原技术：存储、选择、输出文本－语音转换技术：波形编辑、参数合成、基于规则的合成非语音声音频谱组合法，结合环境声音模型库录音，结合物体与环境的交互库研究生学位课程－－系统建模与仿真2019/10/12飞行器工程系单家元博士248.3.5听觉通道虚拟声音的定位混响时间差：声音传递到人的左右耳有时间差异混响压力差：声波对人的左右耳的压强差研究生学位课程－－系统建模与仿真2019/10/12飞行器工程系单家元博士258.3.6触觉/力反馈人体触觉系统触觉系统不仅可以感知环境，而且可以影响环境子系统：机械、感觉、运动和认知机械、运动：人手有19块骨头，20条肌肉，22个自由度的运动感觉：接触力：触觉（皮肤接触，刺激神经），运动觉（肢体与物体相当运动）认知：探测、操作。研究生学位课程－－系统建模与仿真2019/10/12飞行器工程系单家元博士268.3.6触觉/力反馈触觉/力反馈技术分类自由运动：与环境不产生物理接触由不平衡力形成的接触：指压一个物体由平衡力形成的接触：抓握、一点一个物体研究生学位课程－－系统建模与仿真2019/10/12飞行器工程系单家元博士278.3.6触觉/力反馈触觉/力反馈技术发展概况力和力矩显示装置游戏杆：2、3个自由度手控器：6个自由度表面压力反馈装置：直接接触（手有2个自由度）与间接接触（工具6个自由度）的力力学反馈手套：压敏元件、压力气囊触觉显示装置力显示：位移显示：形变软件：触觉交互软件、虚拟物体和环境的物理模型、润色触觉图象研究生学位课程－－系统建模与仿真2019/10/12飞行器工程系单家元博士288.3.7虚拟场景的生成虚拟场景静态模型建立静态模型：几何模型，灰度模型，纹理模型，渲染效果模型建立：工具：OpenGL、WTK、VRML方法：点、线、面、多边形、贴图虚拟场景动态模型的建立内容：确立场景中对象在运动过程中的坐标视点变化时场景的更新方法坐标变换：本体坐标系、世界坐标系、窗口坐标系、透视投影变换2019/10/12飞行器工程系单家元博士29结束！