基于邊緣計算的沉浸式VR-V2

基于邊緣計算的沉浸式VR崔勇清華大學

計算機系cuiyong@VR/AR適當相關應用精靈寶可夢Go任天堂和谷歌通過自動化手機在現(xiàn)實世界里發(fā)現(xiàn)精靈，進行抓捕和戰(zhàn)斗房屋裝修HouseVR想看看將來裝修好的房子？想和設計師一起所見即所得？HouseVR發(fā)展難點室內模型構造麻煩，設計師？家具模型更不易，家具城？“+互聯(lián)網”考慮到Mobile

VR在短期內更具前景…網絡延遲無法規(guī)避○響應延遲難以保證復雜的場景和高質量的畫面○消耗大量帶寬資源網絡連接&高刷新率○手機能耗增大社交VRFacebook

Social

VR

Avatar實現(xiàn)Face-to-Face社交連線型頭戴式VRVR的性能需求極低響應延遲：小于25ms較高刷新率(FPS)：大于60Hz復雜的場景：真實環(huán)境、全景視角…社交VR給移動終端和網絡傳輸架構帶來了巨大挑戰(zhàn)考慮到Mobile

VR在短期內更具前景…網絡延遲無法規(guī)避○響應延遲難以保證復雜的場景和高質量的畫面○消耗大量帶寬資源網絡連接&高刷新率○手機能耗增大VR市場問題VR市場現(xiàn)狀2016

VR元年2017寒冬將至？

VR市場現(xiàn)狀用戶持續(xù)增加商家生產VR設備數(shù)持續(xù)增多大品牌居多Google、HTC寒冬？考慮到Mobile

VR在短期內更具前景…網絡延遲無法規(guī)避○響應延遲難以保證復雜的場景和高質量的畫面○消耗大量帶寬資源網絡連接&高刷新率○手機能耗增大臺式VR

vs手機VR臺式機VR畫質體驗好但價格高移動受到限制手機VR畫質體驗待優(yōu)化但價格低用戶可自由移動市場對比手機VR將成主流？數(shù)據(jù)線限制傳感器采集運動輸入數(shù)據(jù)采集到的數(shù)據(jù)進行過濾并通過線纜傳輸?shù)街鳈C游戲引擎根據(jù)獲取的輸入數(shù)據(jù)更新邏輯和渲染視口提交到驅動并由驅動發(fā)送到顯卡進行渲染把渲染的結果提交到屏幕,像素進行顏色的切換用戶在屏幕上看到相應的畫面VR延時需求手機VR顯示過程流程復雜導致延遲延時需求高延時導致用戶暈眩用戶視覺反饋受限如何克服延時？考慮到Mobile

VR在短期內更具前景…網絡延遲無法規(guī)避○響應延遲難以保證復雜的場景和高質量的畫面○消耗大量帶寬資源網絡連接&高刷新率○手機能耗增大手機VR適當試驗方法1：云端渲染高適當相關質量VR畫面發(fā)至手機幀率受帶寬波動影響帶寬不足方法2：手機本地渲染高適當相關質量VR適當相關應用手機溫度過高用戶體驗畫面卡頓如何結合兩者優(yōu)勢？考慮到Mobile

VR在短期內更具前景…網絡延遲無法規(guī)避○響應延遲難以保證復雜的場景和高質量的畫面○消耗大量帶寬資源網絡連接&高刷新率○手機能耗增大未來的手機VR將來無線網能帶來幫助?將來硬件能帶來幫助?400Mbps

TCP吞吐量已經包含27%CPU（在谷歌Pixel手機中）高適當相關質量VR幀流的傳輸需要大約6

Gbps的吞吐量

[MoVR,NSDI’2017]CPU/GPU在高端手機中發(fā)展的非常緩慢的進展:由于電源的約束，GPU

Frequency(MHz)Nexus

4(2012)Nexus

5(2013)Nexus6(2014)Nexus6P(2015)PixelXL(2016)Note8(201

CPU

Frequency7)

(GHz)Blockage產生的主要原因是用戶變化的動作（如圖所示的抬手）會阻擋mmWave信號-解決方案是架設可編程的mmWave反射鏡Mobility的問題在于mmWave的波長非常小，頭盔的移動（用戶移動）會導致天線需要重新校準（確保天線發(fā)射的方向能到達頭盔），校準的時間會影響到VR的響應性-解決方案是利用VR系統(tǒng)本身的定位傳感器等功能，快速、實時確定頭盔的位置，并以此計算、調整天線邊緣計算＋手機VR傳統(tǒng)做法–服務器放在云端延時高創(chuàng)新思路：邊緣計算手機VR放云端延時高！引入邊緣計算(VR服務器)Blockage產生的主要原因是用戶變化的動作（如圖所示的抬手）會阻擋mmWave信號-解決方案是架設可編程的mmWave反射鏡Mobility的問題在于mmWave的波長非常小，頭盔的移動（用戶移動）會導致天線需要重新校準（確保天線發(fā)射的方向能到達頭盔），校準的時間會影響到VR的響應性-解決方案是利用VR系統(tǒng)本身的定位傳感器等功能，快速、實時確定頭盔的位置，并以此計算、調整天線“剪掉繩子”的高適當相關質量VR邊緣計算＋手機VRMIT的Dina嘗試采用新型高速無線傳輸–

Enabling

High-Quality

Untethered

VR

[NSDI17]手機VR設備無法提供好的用戶體驗？核心思想：60GHz＋本地緩存響應性處理產生時延設備精確性被波長影響移動中及時加載預測點60GHz

AP微波反射器考慮到Mobile

VR在短期內更具前景…網絡延遲無法規(guī)避○響應延遲難以保證復雜的場景和高質量的畫面○消耗大量帶寬資源網絡連接&高刷新率○手機能耗增大發(fā)現(xiàn)手機VR改進點改進點1:主要主要內容可分為前景交互和背景環(huán)境改進點2：前景交互和背景環(huán)境有可預測性的渲染工作云朵和山脈

(背景環(huán)境)賽車手Daydream

VR適當相關應用故障率渲染工作量Karts游戲,可預測性

隨機,不可預測相對低(前景交互)前景交互背景環(huán)境連續(xù),

可

測的高考慮到Mobile

VR在短期內更具前景…網絡延遲無法規(guī)避○響應延遲難以保證復雜的場景和高質量的畫面○消耗大量帶寬資源網絡連接&高刷新率○手機能耗增大“本地手機”的高適當相關質量VR微軟提出FlashBackImmersive

Virtual

Reality..[MobiSys16]手機VR設備無法提供好的用戶體驗？核心思想：預渲染＋緩存預測用戶三維空間->離散點每一個點->預測緩存移動中及時加載預測點考慮到Mobile

VR在短期內更具前景…網絡延遲無法規(guī)避○響應延遲難以保證復雜的場景和高質量的畫面○消耗大量帶寬資源網絡連接&高刷新率○手機能耗增大Furion設計第一步協(xié)同渲染手機GPU→前景交互遠端GPU→背景環(huán)境結合它們到手機關鍵優(yōu)勢互作用耗時顯著降低解碼

(16ms)背景環(huán)境(≈48ms)請求

(3ms)渲染背景環(huán)境

(11ms)編碼

(10ms)傳輸

(8ms)每一幀合并(<1ms)渲染前景環(huán)境(12ms)前景交互

(≈12ms)樣例輸入瓶頸!考慮到Mobile

VR在短期內更具前景…網絡延遲無法規(guī)避○響應延遲難以保證復雜的場景和高質量的畫面○消耗大量帶寬資源網絡連接&高刷新率○手機能耗增大Furion設計第二步離散化虛擬世界借移動時延去預先取臨近的幀使用預先渲染和預先編碼的全景幀去批處理所有可能的方向預取臨近的全景照片

一般來說,運動延時≈20ms離散化的虛擬世界考慮到Mobile

VR在短期內更具前景…網絡延遲無法規(guī)避○響應延遲難以保證復雜的場景和高質量的畫面○消耗大量帶寬資源網絡連接&高刷新率○手機能耗增大Furion設計第三步手機上解碼一個全景幀大約需要40ms的延時并行解碼互作用耗時顯著降低并行解碼多核解碼，解碼時間:≈13ms考慮到Mobile

VR在短期內更具前景…