20基于PC平台的AR系统技术_14讲49

基于PC平台的AR系统关键技术研究和基于VR培训系统开发基于PC平台的AR系统关键技术研究基于VR培训系统开发基于PC平台的AR系统关键技术研究系统总体结构实时跟踪系统多通道交互技术场景融合技术AR开发平台Illusion虚拟物体制作和头盔显示虚拟魔幻屋的设计与实现系统总体结构场景融合Illusion开发平台通讯模块实时交互6DOF磁力跟踪器语音识别PC显示器操纵杆DirectPlay鼠标增强现实部分通用部分PC部分处理过的图像图像预处理视频输入坐标转换视点坐标坐标转换多目视觉跟踪系统头盔显示模块多人显示系统三维虚拟物体实时跟踪系统多通道交互场景融合AR开发平台Illusion显示部分实时跟踪系统在AR系统中，实现虚拟信息和真实信息无缝集成要解决系统的静态和动态错误：解决静态错误所采用的技术方案解决动态错误所采用的技术方案静态错误解决方案•基于计算机视觉理论的实时跟踪技术和跟踪系统的实现•实时的、较好精度和鲁棒的动态定位计算模块•简便的、自动的、高精度和鲁棒的摄像头定标技术•多目视觉跟踪系统的设计原则和安装措施返回动态错误解决方案人工标志的设计针对标志的图像跟踪算法基于并行机制的实时图像处理技术基于并行机制的实时图像绘制技术基于PC平台的实时、高性能的图形数据显示管理系统两节点视觉跟踪系统两节点跟踪系统基本结构跟踪标志的设计所有的图案点共面;每个圆点的半径相同；相邻圆点的圆心上下左右的距离相等；其中边缘两组点的圆心分别共线，并且这两条线互相垂直；点的颜色为白色，背底为黑色;人工特征点提取和匹配算法原始图像二值化图像候选特征连通域4，523候选特征点及其中心坐标特征点图像中基本点阵特征点的中心图像坐标和排列次序，扩展点阵特征点的中心图像坐标标准图像中扩展点阵中点的中心图像坐标和排列次序完成目标的识别6711阀值分割2种子填充3形状限制4求解几何中心5几何约束处理6透视变换7特征映射人工标志的空间姿态重建Zc1[u1,v1,1]T=M1[x,y,z,1]TZc2[u2,v2,1]T=M2[x,y,z,1]T单个人工标志物的跟踪和三维重建左图像右图像重建结果多目视觉系统由于两个摄像头的有效跟踪范围有限，可采用多摄像头阵列的多目跟踪技术和姿态重建，本发明中采用了呈平面网格分布的多目立体视觉结构，每个摄像头的光轴垂直水平面，光心均匀的分布在网格点上，图中阴影部分为有效跟踪范围。在建立该多目视觉系统时，H为摄像头光心的安装高度，h为稳定的跟踪区域的高度，一般情况下，摄像头的两个方向的视角不同，设βα；为保证各个方向稳定的跟踪区域的高度h相等，网格的间距d1、d2应满足一定的约束；如下式所示：在实际安装多目立体视觉系统时，考虑到摄像头的参数和方向不可能完全一致，为保证稳定的跟踪区域的高度h,加入修正因子△h,可按下面两式的计算d1、d2。12(/2)(/2)dtgkdtg)2((1tghhHd12kdd多目视觉系统构架c11c12c13c11c12c13c21c22c23c31c32c33c11c21c31c11c12c13c21c22c23c31c32c33d1d2HHhh多通道交互技术视觉通道AR系统通过视觉通道产生以用户本人为视点的包括各种景物和运动目标的场景，人通过头盔显示器(HMD)等立体显示设备进行观察。听觉通道在AR系统中加入三维虚拟声音，可以增强用户在虚拟环境中的沉浸感和交互性。项目中采用DirectSound技术完成了背景音乐、音效的三维声音定位。力反馈在本项目AR系统中，由引入力反馈，通过力学反馈操纵杆，让用户对增强现实环境有了一种“看得见摸得着”的感觉。用户的输入零训练的语音识别系统目前环绕语言技术的另一个领域就是如何把现有的语音识别技术应用到各个领域，让增强现实环境理解人的语言，可以提高人机交互的自然性。本项目中采用SparkSDK开发工具包，无须进行语音训练，即可识别定义好的语音命令，并与Internet控制技术相结合，实现了增强现实环境的交互。系统的结构如下图所示：语语语语nternet增强现实环境场景融合技术坐标转换真实场景视频采集真实摄像头参数求解摄像头标定和校正虚拟摄像头校正虚实融合坐标转换C摄像头场景坐标系相机坐标系成像平面C虚拟摄像头虚拟场景坐标系虚拟相机坐标系虚拟成像平面视频合成相机位置、焦距等场景-摄像机渲染返回真实场景视频采集我们使用DirectShow构架的软件模块，通过视频采集卡采集外部视频信号。这个软件模块的滤镜图如下：返回真实摄像头参数求解方法摄像头模型标定算法畸变校正算法焦距、视角的计算返回AR开发平台IllusionAR开发平台Illusion的任务是完成AR项目所需要的实时图形显示和交互功能。AR项目需要实现的图形功能是真实场景数据和虚拟场景数据融合并显示，融合后场景的内容能够通过各种已知或者未知的方式进行交互，支持特效的扩展，支持动画，支持故事线等。AR开发平台Illusion具有以下特征：管理扩展模块的能力采用OpenInventor的显示机能支持视频融合分层式软件结构：采用核心层、扩展层和应用层三层结构，从而可实现灵活的模块化管理、开放的扩展体系AR开发平台Illusion模块化结构系统核心主要由DM,FM,IM三大模块组成；AR核心系统功能框图如下：Illisionworkspace:COREDMFMIMDOC/VIEWFRAMEWNDIllision.dll功能管理MAP*.dll数据管理MAP模块划分Studio（用于构造基础模块）iCom提供基于DirectPlay的通讯功能；iCore提供基础的模块和数据管理功能；iDeform提供变形计算，用于支持顶点动画；Illusion提供应用程序载体。Plugin（用于构造扩展模块）Animation提供具体的动画实现Camera模块提供Camera控制功能GA、VA模块实现了具体的刚体动画(GA)、顶点动画(VA)数据操作Illusion模块提供了基础启动管理功能，决定了整个系统的启动配置Video模块实现的是视频捕捉，至于捕捉以后的数据如何使用则是由iCore模块决定的三维虚拟物体的制作AR系统中包括虚实两方面的数据，虚拟的数据就是必须创造一个虚拟环境，这个虚拟环境包括三维模型、三维声音等，在这些要素中，因为在人的感觉中，视觉摄取的信息量最大，反应亦最为灵敏，所以创造一个逼真而又合理的模型，并且能够实时动态地显示是最重要的。虚拟现实系统构建的很大一部分工作也是建造逼真合适的三维模型。三维虚拟物体的制作虚拟场景的构造主要有以下途径：基于模型的构造方法：(1)多边形建模；(2)NURBS建模；(3)细分曲面技术；基于图像的绘制(IBR)增强现实中虚拟物体的创建技术为了充分利用发挥艺术创作人员的创造力，允许他们利用熟悉的主流三维建模工具3DMax进行虚拟场景和物体进行建模，然后利用开发的专用转换插件实现三维虚拟物体的导出，并AR系统中加以利用，可以大大加快系统的开发进程。本系统中的三维模型利用3DMAX制作、导出，然后在Illusion平台进行调整和显示，整个制作流程包括如下4个部分：物体造型材质纹理动画制作合成导出增强现实显示系统Monitor-based增强现实显示系统光学透视式(OpticalSee-through)增强现实显示系统视频透视式(VideoSee-through)增强现实显示系统返回Monitor-based增强现实系统返回光学透视式增强现实系统返回视频透视式增强现实系统头盔显示系统（I）本项目采用视频透视式头盔显示系统，为了实现良好的沉浸感，必须实现基于头盔双通道的立体显示技术。由于头盔具有两个微型液晶显示器，可以同时显示左右眼的图像，为了能够将增强场景立体显示出来，需要完成真实场景的立体视频采集和虚拟场景的立体渲染后，进行场景融合如下图所示。左摄像头视频采集立体视频数据虚拟场景场景融合头盔眼睛视频采集左眼渲染右眼渲染右摄像头真实场景同步采用微软公司（Microsoft）DirectShow的滤镜(Filter)技术与多线程技术的双通道视频数据采集。由于实时视频数据量很大，同时为了兼容多种不同的视频捕捉卡，所以采集视频数据时采用了滤镜技术，双通道的视频数据采集在两线程中分别进行，采集到的视频数据保存在两个视频缓冲区中，利用线程同步机制来保证采集的视频数据的同步，从而实现双通道视频数据的采集。这样有效地利用了CPU的资源，提高了系统的实时性，可在一般PC上实现。立体视频采集虚拟场景的立体渲染基于OpenInventor的立体渲染立体渲染有两种方式：旋转相机：该方法存在丢失集合一致性的问题：当两个摄像机旋转时，他们的投影轴就不同了。于是就会出现两种情况：由于两个视点的Z轴次序出现微小的差异，在两个视图中，形状方向就不能保持一致。该方法还要求当场景中的观察位置变化时，立体焦点也能一直变化。平移相机：该方法解决了上述问题，无扭曲实现所需的立体效果。通过增加与降低视景体的非对称，场景将相对屏幕发生移动。虚拟魔幻屋的设计与实现虚拟魔幻屋是一个本项目研究成果的综合体现,结构图如下：以太网交换器右通道视觉跟踪视频信号左通道视觉跟踪视频信号头盔上有两个摄像头左摄像头采集到的真实场景信号磁力跟踪器信号融合后的左通道场景信号融合后的右通道场景信号多路复用器高性能PC高性能PC高性能PC高性能PC音频信号视觉跟踪摄像头视觉跟踪摄像头右通道融合信号左通道融合信号右摄像头采集到的真实场景信号基于VR培训系统开发三维可视化驱动系统虚拟控制系统工程分析子系统结构SHU-虚拟机床系统虚拟机床由虚拟控制系统、三维可视化驱动系统构成、机床结构建模和运动学分析共同构成，其功能结构图如下：机床设计知识库机床可视化工程分析系统加工形貌分析系统应力场分析工艺参数优化系统热场分析系统机床静态数字模型机床结构建模运动学分析虚拟控制系统虚拟机床三维可视化驱动系统虚拟机床维护系统虚拟机床操作系统三维可视化驱动系统包括了场景绘制模块、机床装配模块、机床模型导入模块、切削仿真模块、人机交互模块、网络通信模块等六个模块。其中，网络通信模块与虚拟数控系统进行通信，将操作指令传送给切削仿真模块；场景绘制模块负责图形场景的渲染，根据导入的机床模型与切削仿真、装配仿真的结果事实绘出制虚拟车床；人机交互模块则使操作者可以通过三位鼠标与立体眼镜等交互设备对虚拟车床场景进行漫游。仿真系统的基本数据结构虚拟控制系统本系统是仿上海开通数控的KT590－T控制系统而设计的虚拟数控系统。其可用于紧凑型机床的微处理器控制CNC连续轨迹控制系统。本虚拟数控系统是将KT590—T实现于PC平台上，并且通过网络将实时插补的数据输送基于OpenGL开发平台的虚拟机床上，实现对加工过程的仿真，功能模块选择示意如下图。自动方式单段方式录返方式示教方式试运行方式手动/零点设置编辑方式输入/输出刀具偏置特殊方式操作方式选择按键0按键1按键2按键3按键4按键5按键6按键7按键8按键9工程分析子系统包括数据读入模块、计算模块和可视化模块。通过将工程分析的参考数据读入系统，应用结点的参考数据或计算公式计算出工程分析结果，最后将工程分析结果采用可视化的手段表现出来。数据读入模块将工程分析的参考数据读入系统。参考数据是仿真图形结点的参考数据，他们是计算出结点的工程分析结果的基础。计算模块应用结点的参考数据或计算公式计算出工程分析结果。其中，工件的变形采用推导出的解析式可以直接求出，刀具的工程分析结果则需通过图形结点的参考值，结合插值等算法计算得出。可视化模块将工程分析结果采用可视化的手段表现出来。工件的变形通过轴线位移表示，刀具的工程分析结果则通过颜色的予以深浅反映。工程分析部分的基本数据结构采用的关键技术虚拟机床的控制系统系统集成及三维驱动采用的关键技术三维鼠标应用中采用的关键技术切削过程仿真的关键