基于边缘计算的沉浸式VRV2

基于边缘计算的沉浸式VR崔勇清华大学计算机系[e-mail]1Saturday,August15,2020VR/AR应用精灵宝可梦Go–任天堂和谷歌–通过智能手机在现实世界里发现精灵，进行抓捕和战斗房屋装修HouseVR–想看看将来装修好的房子？–想和设计师一起所见即所得？HouseVR发展难点–室内模型构造麻烦，设计师？–家具模型更不易，家具城？“+互联网”Saturday,August15,2020社交VRFacebookSocialVRAvatar–实现Face-to-Face社交–连线型头戴式VRVR的性能需求–极低响应延迟：小于25ms–较高刷新率(FPS)：大于60Hz–复杂的场景：真实环境、全景视角…社交VR给移动终端和网络传输架构带来了巨大挑战Saturday,August15,2020VR市场问题VR市场现状–2016VR元年–2017寒冬将至？VR市场现状–用户持续增加–商家生产VR设备数持续增多–大品牌居多Google、HTC寒冬？Saturday,August15,2020台式VRvs手机VR台式机VR–画质体验好但价格高–移动受到限制手机VR–画质体验待优化但价格低–用户可自由移动市场对比手机VR将成主流？数据线限制Saturday,August15,2020VR延时需求手机VR显示过程–流程复杂导致延迟延时需求高–延时导致用户晕眩–用户视觉反馈受限如何克服延时？Saturday,August15,2020手机VR相关试验方法1：云端渲染高质量VR画面发至手机–帧率受带宽波动影响–带宽不足方法2：手机本地渲染高质量VR应用–手机温度过高–用户体验画面卡顿如何结合两者优势？Saturday,August15,2020未来的手机VR将来无线网能带来帮助?将来硬件能带来帮助?400MbpsTCP吞吐量已经包含27%CPU（在谷歌Pixel手机中）高质量VR帧流的传输需要大约6Gbps的吞吐量[MoVR,NSDI’2017]CPU/GPU在高端手机中的进展:由于电源的约束，发展的非常缓慢GPUFrequency(MHz)CPUFrequency(GHz)Nexus4(2012)Nexus5(2013)Nexus6(2014)Nexus6P(2015)PixelXL(2016)Note8(2017)Saturday,August15,2020边缘计算＋手机VR传统做法–服务器放在云端延时高创新思路：边缘计算手机VR放云端延时高！引入边缘计算(VR服务器)Saturday,August15,2020“剪掉绳子”的高质量VR边缘计算＋手机VRMIT的Dina尝试采用新型高速无线传输–EnablingHigh-QualityUntetheredVR[NSDI17]手机VR设备无法提供好的用户体验？核心思想：60GHz＋本地缓存–响应性处理产生时延–设备精确性被波长影响–移动中及时加载预测点60GHzAP微波反射器Saturday,August15,2020发现手机VR改进点改进点1:–内容可分为前景交互和背景环境改进点2：–前景交互和背景环境有可预测性的渲染工作云朵和山脉(背景环境)赛车手(前景交互)Karts游戏,DaydreamVR应用故障率可预测性渲染工作量前景交互随机,不可预测相对低背景环境连续,可预测的高Saturday,August15,2020“本地手机”的高质量VR微软提出FlashBack–ImmersiveVirtualReality..[MobiSys16]手机VR设备无法提供好的用户体验？核心思想：预渲染＋缓存预测–用户三维空间-离散点–每一个点-预测缓存–移动中及时加载预测点Saturday,August15,2020Furion设计第一步协同渲染–手机GPU→前景交互–远端GPU→背景环境–结合它们到手机关键优势–互作用耗时显著降低请求(3ms)渲染背景环境(11ms)传输(8ms)解码(16ms)背景环境(≈48ms)编码(10ms)每一帧合并(1ms)渲染前景环境(12ms)前景交互(≈12ms)样例输入瓶颈!Saturday,August15,2020Furion设计第二步离散化虚拟世界–借移动时延去预先取临近的帧–使用预先渲染和预先编码的全景帧去批处理所有可能的方向预取临近的全景照片一般来说,运动延时≈20ms离散化的虚拟世界Saturday,August15,2020Furion设计第三步手机上解码一个全景帧大约需要40ms的延时并行解码–互作用耗时显著降低并行解码–多核解码，解码时间:≈13msSaturday,August15,2020改进成果发热量和性能消耗–30分钟内不会过热发烫–电池消耗平均在410mA资源使用率–CPU：64~76%–GPU：37～63％–平均带宽127～130Mbps谢谢！崔勇清华大学计算机系[e-mail]17