大朋VR E4如何實(shí)現(xiàn)《阿凡達(dá)》般零延遲、高精度的“心靈鏈接”？
時(shí)隔十三年，重回潘多拉。12月16日，《阿凡達(dá)：水之道》在內(nèi)地同步北美地區(qū)上映，目前豆瓣評分8.2，比起初代的8.8分差了不少。原因也很好理解，作為以視覺特效、科幻未來感為主賣點(diǎn)的商業(yè)大片，十三年后很難讓觀眾們再像當(dāng)初一樣發(fā)出響徹影院的驚呼。
例如男主本體與潘多拉身體鏈接所應(yīng)用的“心靈鏈接”方式，彼時(shí)稱得上天馬行空，讓人浮想聯(lián)翩。可如今隨著VR技術(shù)不斷進(jìn)步，戴上頭顯后的我們同樣可以“鏈接”到虛擬時(shí)空。
當(dāng)然，《阿凡達(dá)》中那種零延遲同步、超高精度操控的鏈接方式仍舊是VR的終極目標(biāo)，但已經(jīng)有一些勇敢的開拓者距離這個(gè)目標(biāo)越來越近。
比如大朋VR最新推出的E4，就帶來了0.1s高速響應(yīng)、毫米級追蹤精度、超低延遲以及高穩(wěn)定性的現(xiàn)實(shí)版“心靈鏈接”——Hawkeye Vslam 4cam定位系統(tǒng)。
至關(guān)重要的“VR之舵”
在探討大朋E4定位技術(shù)之前，需要明確的是另一個(gè)問題：定位技術(shù)，對于VR來說意味著什么？
如果說VR是一艘航行在虛擬時(shí)空的大船，那么定位技術(shù)就是它的“舵”。VR設(shè)備完全欺騙了眼睛提供了一個(gè)擬真世界，如果身體的視覺感知和動運(yùn)感知不能及時(shí)匹配，除了會降低游玩體驗(yàn)，還引發(fā)頭暈等癥狀。
因此，定位技術(shù)優(yōu)秀與否，對VR產(chǎn)品的實(shí)際體驗(yàn)至關(guān)重要。
長久以來，VR定位方案主要分為兩種：Outside-in和Inside-out。前者通過將傳感器部署在與頭盔或者人體無直接連接的周邊環(huán)境中（即基站），實(shí)現(xiàn)大范圍檢測，一般用于支持多人互動應(yīng)用場景。
而大朋E4則選擇了便攜性更佳、硬件成本更低、空間要求更寬松的Inside-out定位方案，無需架設(shè)定位基站，依靠VR頭顯自帶的攝像頭即可完成定位，去朋友家玩《半條命》終于不需要搬基站先累掉“半條命”了。
但舍棄了基站，采用Inside-out方案為玩家“減負(fù)”，實(shí)現(xiàn)優(yōu)秀便攜性的同時(shí)，想要達(dá)成同樣的定位效果，對設(shè)備硬件、算法以及定位追蹤方案也提出了更高的要求。為此，大朋VR做出了更多努力。
高精度背后的技術(shù)投入
首先是頭顯部分，基于定位精度、速度和成本等因素的考量，大朋VR E4采用了視覺（V）+慣性傳感器（I），構(gòu)成Vslam實(shí)現(xiàn)系統(tǒng)。大朋VR團(tuán)隊(duì)基于Intel Movidius高性能VPU進(jìn)行開發(fā)設(shè)計(jì)工作，重新設(shè)計(jì)傳感攝像頭模塊的同時(shí)，也帶來了全新的頭戴硬件布局。
大朋E4采用4路超廣角追蹤傳感攝像頭和更高精度的IMU慣導(dǎo)傳感器，不僅在高速演算過程中實(shí)現(xiàn)了速度與精度的平衡、在快速移動場景中也可更好地實(shí)現(xiàn)快速重定位和閉環(huán)檢測。此外大量邊緣計(jì)算，分布式計(jì)算的應(yīng)用，也降低了對主機(jī)平臺的壓力。
此外，大朋E4的整套Vslam系統(tǒng)在機(jī)器視覺定位識別方面也具有無可比擬的優(yōu)勢，高效的地圖結(jié)構(gòu)，可用于設(shè)備間的地圖共享，環(huán)境魯棒性好，可克服光線變化的影響。定位系統(tǒng)不受相機(jī)參數(shù)（增益和曝光）的影響，可建立穩(wěn)定的空間幾何關(guān)系，大大提升建圖和定位的精度。
尤其是快速重定位和環(huán)境魯棒性這兩點(diǎn)，對于VR游戲的加持是巨大的。以VR熱門游戲《Bonelab》為例，這款游戲強(qiáng)調(diào)物理交互，戰(zhàn)斗中經(jīng)常需要快速切換視角，在Hawkeye Vslam定位系統(tǒng)加持下，大朋VR E4在游戲過程不會出現(xiàn)“扭頭即掉幀，晃動即失控”的情況，讓游戲的樂趣不會因?yàn)樵O(shè)備追蹤問題而受損。
至于環(huán)境魯棒性，E4在高效AEC算法加持下，可以適應(yīng)較為復(fù)雜的家庭光線情況，開燈關(guān)燈、晴天陰天，都不會讓定位系統(tǒng)受限。
大朋VR團(tuán)隊(duì)在optitrack實(shí)驗(yàn)室環(huán)境（模擬用戶真實(shí)使用場景）下測試頭盔動態(tài)定位精度，以optitrack輸出的6DoF數(shù)據(jù)為真值，計(jì)算頭盔6DoF和optitrack真值之間的位移和角度偏差。最終測試結(jié)果達(dá)到了位移平均偏差0.0055m、角度平均偏差0.328141°的毫米級高精準(zhǔn)度水平。
（optitrack實(shí)驗(yàn)室環(huán)境實(shí)測效果：黃色軌跡是頭盔6DoF，白色軌跡是optitrack 6DoF）
而大朋E4 Hawkeye Vslam定位系統(tǒng)在降低延遲方面也表現(xiàn)突出，基于高幀率低延時(shí)的imu慣性導(dǎo)航加4個(gè)廣角魚眼相機(jī)實(shí)現(xiàn)的高精度定位跟蹤，配合高精度的預(yù)測算法，可以實(shí)現(xiàn)接近于0ms的跟蹤延時(shí)。
（藍(lán)色軌跡為頭盔6dof-x軸運(yùn)動軌跡（vslam算法輸出），綠色軌跡為頭盔真實(shí)6dof-x軸運(yùn)動軌跡；紅色軌跡為頭盔6dof-y軸運(yùn)動軌跡（vslam算法輸出），紫色軌跡為頭盔真實(shí)6dof-y軸運(yùn)動軌跡）
其次是手柄，大朋VR E4的 6DoF動作控制器，采用了紅外光主動式光學(xué)定位追蹤方案，以分布式計(jì)算方式與高精度的緊耦合融合算法實(shí)現(xiàn)手柄和頭顯的交互，完成手柄的6DoF高精度定位追蹤。
手柄選型上更是采用了工業(yè)級IMU傳感器，以及抗電磁干擾設(shè)計(jì)，讓頭手6DoF交互在一般游戲環(huán)境下都能達(dá)到0.1s高速響應(yīng)識別、毫米級動態(tài)追蹤誤差、亞毫米級靜態(tài)追蹤和漂移誤差的高精準(zhǔn)度。
最顯著的成效體現(xiàn)在類似《Beat Saber》這類對手柄定位精度要求較高的VR游戲上。想必不少玩家都體會過手柄揮出，但“光劍”沒動或亂動的情況，讓人煩躁不堪。
有了大朋E4，即使開啟《Beat Saber》hard難度，也依然可以“指哪打哪”，讓玩家真正感受到在虛擬現(xiàn)實(shí)世界的動靜自如。
虛擬與現(xiàn)實(shí)的碰撞
“I see you.”這是《阿凡達(dá)1》當(dāng)中的經(jīng)典臺詞，男主在人類狀態(tài)下看到女主，虛擬與現(xiàn)實(shí)在這一刻碰撞，所帶來的感動難以言表。
大朋 E4優(yōu)化升級的定位系統(tǒng)不僅帶來了更優(yōu)質(zhì)的游戲體驗(yàn)，也是對VR定位方案、6DoF復(fù)雜場景應(yīng)用的一次革新優(yōu)化與案例打造，今后也將為大朋VR系列產(chǎn)品乃至同品類其他產(chǎn)品提供經(jīng)驗(yàn)借鑒，讓虛擬與現(xiàn)實(shí)無距離碰撞的那一天，提早到來。
