搜索
AR—虚拟与现实无缝对接李名月2017-072OVERVIEW•增强现实已经到来•增强现实行业分析•增强现实技术揭秘•增强现实开发技术3•电影《007系列》（1995）中皮尔斯·布鲁斯南的X光眼镜，可扫描隐蔽装备把电影般的体验带入现实生活4•电影《钢铁侠》（2008）中托尼·斯塔克实验室中的触控显示屏把电影般的体验带入现实生活5YOURNEWWAYTOCREATE增强现实行业分析7增强现实行业应用成熟度曲线模型8增强现实技术应用领域9增强现实行业市场规模10增强现实行业应用方案幻窗显示方案幻台显示方案幻镜显示方案11增强现实行业主要产品及其发展现状12增强现实细分市场——头戴显示器企业案例13微软与AUTODESK联合强化HOLOLENS的功能14增强现实细分市场——软件企业案例分析15高通—我们经常会做一些很多人认为不可能的事•Qualcomm是谁？Qualcomm就是工程师、科学家和企业战略家的组合。我们来自不同国家和地区，说着不同的语言，我们拥有不同的文化背景和独特的视角。然而我们都拥有一个共同的目标——不断取得移动技术的突破。16QUALCOMM®VUFORIA™APTCBUSINESS移动视觉平台将彻底改变您与世界的互动方式17SEETHINGSINAWHOLENEWWAY增强现实底层技术揭秘下面是干货19增强现实技术原理图光镜头传感器数字化CV算法显示器20增强现实技术架构21增强现实技术架构•首先是三维信息感知：计算机必须通过传感器感知三维环境信息，这个传感器可以是普通RGB摄像头，也可以是TOF或者结构光深度摄像头，但是选择不同的摄像头也决定了接下来算法的复杂程度22增强现实技术架构•第二步：三维场景重构，这也是最重要的一步，需要通过所获得的环境信息实时对场景进行三维重构。这里就用到了SLAM（SimultaneousLocalizationAndMapping，即时定位与地图构建）算法，该算法在实时构建三维场景的同时，能够准确地定位拍摄相机（或拍摄者）的位置。23增强现实技术架构第三步，三维场景识别：当我们通过第二步获得了丰富的三维场景信息后，接下来需要让计算机理解三维场景，即让计算机认知什么是地板，什么是天花板，什么是桌子，是一张什么桌子，桌子的材质是什么？目前在研究领域，3D场景与物体的识别才属于起步阶段，领先者AndrewDavison教授，他领导的实验室在CVPR2013会议上提出的SLAM++算法，可以通过RGBD摄像头进行SLAM的同时进行实时物体识别，并完成物体的物理建模。SALM++的三维重构和识别效果24增强现实技术架构•第四步，物理建模与仿真：在识别出三维物体之后，虚拟物件（小机器人）需要和物件发生交互（例如：碰撞），则需要对三维物体的材质进行识别。•第五步，实时CG（ComputerGraphics）图像渲染：在完成了所有呈现效果的仿真计算之后，便是将AR效果实时渲染出来，进而投射在显示设备上。这是个相对成熟的工程问题。25基础学科——计算机视觉（COMPUTERVISION）26计算机视觉（COMPUTERVISION）27COMPUTERVISION——RECOGNITION增强现实移动开发技术29ARSDK（SOFTWAREDEVELOPMENTKIT）支持平台AndroidiOSWindows注册方式标记图像GPS重力、加速度传感器脸部跟踪其他特征Unity（3D）插件支持免费版支持AR浏览器工具名称支持特征Metaio14D’cusion13Wikitude11ARToolkit10ARLab10Layer9AR23D9Vuforia9IN2AR9主要AR开发工具支持特征考察项目表30VUFORIA增强现实的原理•Vuforia实现增强现实的原理与其它AR技术相似，分为两个步骤。•第一步是识别，它可以不仅可以识别一些例如杂志封面、包装盒、名片、照片、邮票等平面物体，Vuforia还强化了对3D物体的识别能力。•在完成识别之后，就会触发显示一些预设的内容。Vuforia可实现的触发内容包括二维、三维游戏、视频、音频。31VUFORIA有三大特点•首先是可以提供稳定良好的视觉效果，这对于一个游戏类AR产品很重要，不可能让用户玩游戏时突然发现丢帧，或者图像没能很好地渲染在背景上。•第二就是可对二维、三维对象进行识别，识别率比较好，即便是在识别对象部分被遮挡的情况下，也能成功识别。•第三则是支持硬件范围广，从手机到平板电脑，最新版本Vuforia也已开始支持智能眼镜。32VUFORIA的应用场景•第一个是交互式商品，就像上述所提到的，在商品包装上加入可识别的元素，通过手机扫描识别后，可触发网页、视频、游戏等内容；•第二个是购物场景，比如我在购买家具、电器的时，不知道买回家该怎么布局，就可以通过AR或VR进行模拟，最后在App中购买；•第三个场景就是游戏，AR的好处在于，现实场景也能成为游戏的一部分，极大限度地丰富了游戏的场景；•第四个行业场景，通过与智能眼镜结合，AR已经应用在工人培训、设备维护、建筑等领域。33VUFORIA的应用场景——购物场景34VUFORIA开发实例—小熊尼奥•CSDN：请问你们为什么会选择Vuforia作为AR产品的开发工具呢？在选择SDK时，你们做过哪些考虑？•刘钢：最初我们试过很多方案，包括开源工具、Metaio、Vuforia等。我们认真地做过技术选型。最后，我们发现Vuforia不论是稳定性，还是跨平台性都相较其他工具更为出色。在目前的所有方案之中，Vuforia是商业化做得最好的方案。小熊尼奥完成了新一轮1.2亿元融资。他们基于QualcommVuforiaSDK，专为学龄前儿童的教育和娱乐开发了多款AR产品。小熊尼奥的CTO刘钢。浙江大学计算机图形学方向的博士在Autodesk带领团队设计、开发3D图形引擎。盛大游戏首席架构师，带队团队设计并开发大型3D游戏引擎。2012年加入Unity，担任大中华区技术总监，负责中国区的研发和技术支持工作。35AR手机游戏开发案例•技术方案：JDK+AndroidSDK+Unity3D+Vuforia•发布系统平台：Android•开发平台：Eclipse工具说明AndroidSDKGoogle针对Android手机软件开发工具包Unity3D商业3D游戏引擎Vuforia高通公司针对移动设备的AR（增强现实）软件开发工具包•Vuforia核心技术主要利用计算机视觉技术通过摄像机实时捕捉现实世界画面，对特定图样或者纹路进行检验，并返回检测到的目标图案在现实3D空间中的坐标和转向甚至识别的内容信息。36具体开发流程•（1）Unity3D整合Vuforia的流程•（a）搭建Unity3D的开发环境、注册Vuforia开发帐号（）•（b）下载UnityExtensionVuforia插件•（c）创建自定义Marker并导出文件37NATURALFEATURESANDIMAGERATINGS•ShowFeature可以查看服务器对图片扫描后提取的特征点（基于图像中的边角的拐点来定位），特征点越多越容易被识别。38具体开发流程•（2）在Unity3D中搭建AR功能•ARCamera会将移动设备的摄像头的每个PreviewFrame并发检测Marker。当ImageTarget被扫描识别到，触发OnTrackingFound()和OnTrackingLost()事件。39