基于虚拟现实的培训系统

基于虚拟现实的培训系统：技术和案例詹青龙博士教授一、培训与教育1.培训与教育：有何不同教育提高人的素质，奠定未来工作的基础培训提升人的技能，适应当前的工作岗位2.培训与教育：VR取向的差异教育培训焦点概念和原理的理解技能习得的程序和操作形式比较中学、思中学观中学、做中学知识正式的内容和课程行业及其操作经验目标事实、概念、原理和价值观具体岗位的技能学习智力模型建构和决策动作和技术步骤程序非重复性：解释、图示可重复性：命令、指令反馈综合性、推论性具体性、直接性协作多用户单用户导航生成性预设性行为大致性准确性媒体模拟性真实性二、技术使能的培训变迁1.师传徒受在师傅的指导下，通过具体实践掌握技能能利用已有的设备和技术，培训效果好偏重技术操作方面的训练，在理论学习上显得不足2.传统的课堂式培训培训者讲，学员听培训成本低，培训效率高脱情境，迁移性差3.计算机辅助的课堂式培训培训者讲，学员听部分地呈现多媒体信息4.基于计算机的培训学员利用计算机呈现的培训内容进行学习培训内容通过CD-ROM传递学员自定学习进度培训内容具有媒体丰富性和交互性培训内容不易更新学员具有孤独感5.基于网络的培训学员利用网络进行学习学习内容易更新以自我导向的学习为主存在着多向互动6.虚拟培训虚拟培训是指学员通过多种交互设备来驾驭VR环境和操作各种对象，从而掌握各种知识或技能虚拟培训能使学员在培训中获得感性知识和实际经验三、虚拟现实：强大的培训工具1.何谓VR技术观VR通常是高级计算机技术部件和设备集成的HCI系统，例如计算机、可视化设备、动作感知数据手套、跟踪系统等。功能观VR是用户与计算机实时交互的工具，通过计算机图形的动态显示，用户能与VR环境中的虚拟对象和信息交互。实验心理观VR是用户体验远程临场（tele-presence）的工具，远程临场是指个体在计算机环境和物理环境中感受到自己存在的程度。1.何谓VRVR作为允许用户与计算机集成环境交互的技术，基本思想是计算机能从数值化数据中产生三维图形环境。这种环境可以是真实的，也可以是构造的。利用视觉和听觉设备，人们能体验堪比真实环境的世界。计算机产生的这种世界，可以是真实世界对象的模型，也可以是人类可以理解的、非真实感的抽象世界，还可以是完全想象的科幻世界。2.VR的系统结构2.VR的连续统一体3.ARAR是借助计算机图形技术和可视化技术产生现实环境中不存在的虚拟对象，并通过传感技术将虚拟对象准确“放置”在真实环境中，借助显示设备将虚拟对象与真实环境融为一体，并呈现给使用者感官效果真实的新环境。虚拟对象与真实场景混合实时、交互、3D跟踪+渲染+显示3.AR3.AR：系统构成4.虚拟现实设备5.VR培训的优势5.VR培训的优势：节省时间5.VR培训的优势：学员地理上分布5.VR培训的优势：提高培训质量5.VR培训的优势：超越危险环境的实践5.实例：计算机安装虚拟培训6.实例：BMW的AR型培训使用AR，技师会接收到他正在维修的发动机的三维信息，例如帮助技师诊断和解决故障。除了真实的环境外，通过装有耳机的数据眼镜，技师能看到虚拟的动画部件，需要使用的工具和听到每个工作步骤的指令。四、虚拟培训系统的教学设计1.4C/ID教学设计模型•复杂性技能存在着层级结构，由简单到复杂•复杂性技能由若干个子技能构成•相互关联的技能形成一个技能簇（skillcluster）4C/ID模型比较适用于复杂性技能领域的教学设计。vanMerriënboer（2002）认为：•复杂性技能包括重用性技能和非重用性技能1.4C/ID教学设计模型4C/ID模型的要素：学习任务具体的、真实的、整体性的任务经验按照从简单到复杂的任务类别来组织对同类别的第1个学习任务提供较多的学习支持，并逐渐减少该类别其他学习任务的学习支持同一类别的学习任务具有一定的变化性4C/ID模型的要素：支持性信息主要由智力模式、认知策略和认知反馈组成学习者随时可以利用指向具体的任务类别支持性信息说明了某个任务领域是如何组织的，并对任务的行为提供认知反馈支持非重复性技能的学习4C/ID模型的要素：程序性信息是重复性技能或实践性项目学习的必备条件由信息呈现、技能演示、实例和纠正性反馈组成当学习者需要时呈现，在获得了专家型经验时迅速消失指向具体的重复性技能程序性信息提供了完成任务的步骤说明4C/ID模型的要素：分任务练习为了达到所需的熟练水平，对重复性技能提供额外的实践按一个个分任务来组织实践基本的规则可以支持多种情境的实践项目复杂的规则集可采用滚雪球的方式来组织2.4C/ID教学设计模型的实施步骤④①②③⑤⑥⑦⑧⑨⑩④五、虚拟培训系统的结构1.软件结构1.软件结构OSG（OpenSceneGraph）是一款开源的高性能3D图形开发库，它使用标准的C++和OpenGL编写而成，广泛应用于可视化仿真、游戏、虚拟现实、高端技术研发以及建模等领域。OpenGL（OpenGraphicsLibrary）是一个开放的三维图形软件包，独立于操作系统，以它为基础开发的应用程序可以方便地移植到各种平台。主要功能包括建模、变换、颜色模式设置、光照和材质设置、纹理映射。OpenAL（OpenAudioLibrary）是开源的跨平台音效API。1.软件结构BulletPhysics是一款开源的实时物理引擎，也是世界上三大物理模拟引擎之一（另外两种是Havok和PhysX）。物理引擎根据牛顿力学定律，计算VR环境中物体的合理的物理位置，并将计算结果提供给渲染引擎，从而向使用者展示出真实性的渲染效果。Lib3ds是一个开源的、用于读取3ds格式三维模型的标准类库。2.功能结构2.功能结构任务规划模块：依据学员特征和培训绩效产生合适的培训任务方案绩效评价模块：自动监控和收集数据。它使用任务规划模块的任务信息识别培训情境和更新学员模型。这个模块依据任务规划代理的请求产生培训任务，为教学模块提供建议或警告信息界面模块：理解和整合学员不同模态的动作。界面模块包括语音和手势识别、文本处理等，负责接收和分析传感数据2.功能结构教学模块:从以上三个模块中持续地接收信息，提供即时的教学、提示和建议绩效评价模块的信息被用于与学员相关的建议或警告任务规划模块的信息被用于识别培训过程的情境界面模块的信息被用于纠正学员的动作模拟模块：产生培训在虚拟环境中，学员利用计算机产生的虚拟手操作图形对象和与之交互六、国外典型的虚拟培训系统开发案例1.超精密加工虚拟培训系统：功能1.超精密加工虚拟培训系统：框架结构1.超精密加工虚拟培训系统：控制面板控制面板是用户与虚拟环境进行交互的界面，有按下按钮、选择旋钮、屏幕显示区等。在培训过程中，用户可以调整和控制这些按钮，进行虚拟加工活动。数控编程、刀具和工件的设置，也可以通过此控制面板完成。数控机床的轴位和设置状态可反馈到控制面板。1.超精密加工虚拟培训系统：信息模块该模块包括数据缓冲区和内部数据库两个子模块：数据缓冲区是一个动态数据库，主要包括虚拟设备动作场景的实时更新数据内部数据库由刀具信息库、机器特征、工件信息、材料、机器安装参数等组成1.超精密加工虚拟培训系统：事件处理模块事件处理模块用于处理用户对控制面板的的操作，用户对控制面板上的每个操作，都可以作为一个事件来处理。1.超精密加工虚拟培训系统：虚拟对象及建模虚拟对象包括虚拟超精密设备和表面测量虚拟检测设备虚拟对象的建模，可以按照真实设备的规格，例如结构和几何尺寸来进行1.超精密加工虚拟培训系统：虚拟对象及建模STEP（STandardExchangeofProductdatamodel，产品数据模型交换标准）是国际标准化组织制定的描述整个产品生命周期内产品信息的标准。•数据模型包括通用集成资源、应用集成资源、应用协议•工具包括描述方法、实现方法、一致性测试方法和抽象测试套件STEP标准划分为两部分：STEP标准的数据模型和工具。1.超精密加工虚拟培训系统：开发技术采用VisualC、ProE和OpenGL开发OpenGL可处理动画序列创建、实体模型对象连接、场景的虚拟对象交互等。OpenGL相关的图形支持库用于创作对象的层次结构、细节，为对象添加色彩、材质和纹理。在一台计算机上采用双显示器，一个显示控制面板，一个做模拟用。2.危险环境的虚拟培训系统：石化领域场景模拟：在图形工作站上运行，并为用户建立整个培训场景。它也处理学员与场景对象之间的交互，如开关、控制杆、工具等。由于每个头部运动都被跟踪，应用程序能根据学员的角度和方向，生成每次移动的新图像，建立身临其境的效果。培训应用：培训者可以观察整个训练过程，控制场景的任一部分，对学员的行动做出反应。此外，它允许管理学员的数据库中的训练进度，从而制定个性化培训。2.危险环境的虚拟培训系统：石化领域主要模块模拟（学员模块）：应用程序的主要部分，并在图形工作站上运行，主要负责视觉显示和用户输入（追踪）培训者控制中心：在PC上运行的Java应用程序，可由培训者控制场景，并对VR世界中发生的事件做出响应音效服务器：基于消费者3D音效卡的DirectX应用程序，能根据学员的位置和方向产生3D音效服务器，它控制液压平台2.危险环境的虚拟培训系统2.危险环境的虚拟培训系统2.危险环境的虚拟培训系统创作工具的结构2.危险环境的虚拟培训系统库存储着场景描述的所有对象，它包含：图形组件：虚拟世界的图形对象逻辑组件：如AND,OR,NOT，允许不同对象的连接数学组件：如开方、求幂等触发组件：由事件源产生属性组件：描述对象的行为，如可点击、可移动复合性组件：由更基本的组件组成2.危险环境的虚拟培训系统库管理器所有的编辑器不直接访问库中的对象，而是通过库管理器来进行，确保对象的统一管理和共享。2.危险环境的虚拟培训系统编辑器在建模虚拟世界时，不是一个工具来生成一个虚拟的环境，而是五种编辑器相结合：场景编辑器：放置对象建立新的场景从属编辑器：定义对象的依赖关系空间编辑器：定义步行和非步行区培训者GUI编辑器：创建图形用户界面及功能库编辑器：以树形控件的方式可视化复合对象2.危险环境的虚拟培训系统场景描述文件所有部件的描述都通过VRML97定义，帮助用户管理场景的复杂性场景描述文件描述了真实情境的对象及其属性。从这些文件开始，我们的系统生成虚拟世界，包括模拟和培训者模块2.危险环境的虚拟培训系统数据结构——元场景图——图形库场景图iVRML是一种开发沉浸性体验的通用框架，它采用VRML/X3D标准iVRML的主要功能3.拆装虚拟培训系统：基于iVRML根据3DOF传感器的输出不断改变视点方向根据6DOF传感器和数据手套的输出驱动虚拟手检测、响应用户控制的对象与其他场景对象之间的碰撞VRML是一种描述交互式三维图形内容的语言，既可用于单机环境，也可用于Web3.拆装虚拟培训系统：基于iVRML3.拆装虚拟培训系统：基于iVRML打开VRML文件激活并设定VR装置连接虚拟现实设备的数据到VRML实体（如3DOF传感器到一个视点）iVRML的特殊功能支持，如对象到对象的碰撞检测，文本到语音，定位音频和环境的声音效果（如混响）iVRML用户界面3.拆装虚拟培训系统：基于iVRMLLanguageabstractdiagramdesignedtodefineatutorial用户学习如何揭掉飞机发动机的金属盖3.拆装虚拟培训系统：基于iVRML拧下螺栓（用“手指螺丝刀”）移走绿管：屏幕显示告诉用户“把管子移到旁边”。3.拆装虚拟培训系统：基于iVRMLThankyouforyourattention!联系方式天津市河西区大沽南路1310号天津职业技术师范大学信息技术工程学院邮编：300222电话：13920324267022-88181065Email：[e-mail]