這些功能,
是否有機會成為未來VR頭顯的「標配」?
文 | 青崖白鹿
(VRPinea2023年10月30日訊)「我不能告訴你什麼時候會發生,每一款頭顯都有自己的配置方案。但在未來,眼球追蹤將成為VR頭顯標準配置的一部分,不過我不確定具體時間。」
上面這段話,是Meta CTO(首席技術官)Andrew Bosworth近日在社交平台上,就眼球追蹤問題對粉絲的答覆。很顯然,在這一問題上,Andrew Bosworth與VRPinea達成了一致,《眼動追蹤會不會成為XR未來的「標配」?》。
(Meta CTO Andrew Bosworth)
今天這期文章,小P就來聊一聊,就VR頭顯如今的發展趨勢而言,哪些功能有機會從原來的外置模塊or探索性嘗試,成為常態化的標準配置,被納入VR頭顯的基礎功能之中。
眼球追蹤
首先,當然就是接著聊一下眼球追蹤的話題,眼球追蹤如今已經是一項成熟度很高的技術了。在全球範圍內,技術成果和商業案例積累最多的兩家公司,是瑞典的Tobii和國產廠商七鑫易維。相關分享,各位看官可移步《長談|《老繆聊科技》專訪七鑫易維:眼球追蹤能做的事很多》。
(《老繆聊科技》七鑫易維專訪畫面)
眼球追蹤與VR頭顯的關係是相輔相成的,VR這個載體,天然的就適合搭載眼球追蹤模塊。並且,VR頭顯增添眼動追蹤功能之後,在硬體的畫質提升、性能提升以及人機互動層面,都能起到明顯的作用。
在畫質提升這一點上,也就是注視點渲染、視線追蹤渲染。可以通過適當降低外圍畫面解析度,保證人眼注視區域始終清晰的效果。說得白話些,就是「看哪兒,哪兒清晰」。
(注視點渲染效果圖)
此外,眼動追蹤+面部捕捉,在虛擬社交方向上的應用同樣重要。表情模擬在社交舒適性、情感傳遞等方面,對於虛擬社交的擬真度提升至關重要。
還有一點,瞳孔識別、虹膜認證功能同樣離不開眼動追蹤技術的支持。這一功能已在蘋果Vision Pro上得以實現,「Optic ID」。這樣的功能,在設備安全性、虛擬支付等方面,均有重要作用。
(「Optic ID」)
環境感知
VR頭顯環境感知這一點,近幾個月一直被反覆提及。這個方面,其實有一條較為清晰的發展路徑:完全封閉——VST灰度透視——VST全彩透視——環境感知。
基於高清攝像頭、深度傳感器、融合算法以及高算力晶片等,VR頭顯可實現環境感知功能。相較於只需要「看清」外界環境的VST透視(Video See-Through),環境感知的要求更高,其願景是基於環境感知,實現虛擬空間與物理世界的「無縫融合」。
處於如此階段的環境感知,才能為MR體驗提供堅實的底層支持。當VR頭顯通過精準的物體識別、深度計算後,實現物理環境3D重建,並在其基礎上疊加低延遲、可交互的虛擬內容時,才稱得上是真正的MR體驗。
(環境感知示意圖)
手勢識別
手勢識別倒也談不上新穎,只是說由於6月發布的蘋果Vision Pro,走進了更多人的視線之中。手勢識別的人機互動方式,相較於如今的VR手部控制器而言,肯定是更加自然輕鬆的。
但是,這並不代表「去手柄化」一定是正確的道路。就目前的技術精度而言,識別的穩定性、不同手勢的判斷以及誤識別手部動作等問題還是存在的。
不過,即便手勢識別存在以上種種問題,當蘋果Vision Pro做了第一個吃螃蟹的人之後,依舊有VR廠商選擇跟進。其實原因也很簡單,精準性存在問題,但在VR人機互動的過程中,也有很多不需要太過精準就能實現的操作,如畫面縮放、UI控制等。
(蘋果Vision Pro宣傳畫面)
人工智慧
AI人工智慧與XR的關聯性上,目前更受關注的是AI+AR的強相關。可以說,在真AR眼鏡這個框架內,AI+AR的路徑正確性基本獲得了業界公認。但其實VR頭顯同樣也需要AI的加持,AI可以為VR體驗帶去更多提升。
比較直觀的一點就是AI語音指令,這也是蘋果提出的手、眼、口自然交互邏輯中的一環。不考慮外界環境的情況下(公共場合),通過語音指令實現對VR頭顯的操作,無疑是最自然且高效的。
(蘋果Vision Pro宣傳畫面)
此外,基於高算力晶片的本地AI,對於VR頭顯的性能提升也是相當明顯的。如上文提到的環境感知,在物理環境重建與虛實交互等方面,都離不開強大AI的支持。
本地AI還能充當VR用戶的個人智能助手,進而釋放更多、更大的VR生產力,具體畫面可參考鋼鐵俠與賈維斯。AI也可以接入VR遊戲之中,為遊戲NPC提供智能支持,開發出更多非線性的遊戲發展路徑。具體畫面可參考《失控玩家》。
(《失控玩家》海報)
觸覺反饋
VR設備模擬虛擬世界的主要手段,其實就是欺騙人的五感:視覺、聽覺、觸覺、嗅覺和味覺。目前的技術路徑,基本都只能實現前三者,或者說前兩者和不完全的觸覺。而觸覺其實就是不同程度的振動,只要振動反饋模擬得足夠細膩,觸覺體驗也就會更加逼真。
目前主流的VR頭顯其實都可以算作是具備比較初級的觸覺反饋功能,也就是手柄振動,但簡單機械的馬達振動是遠遠不能與真正的觸覺相比擬的。這一點上,索尼的PS VR2算是走得更遠的那個。
PS VR2的Sense控制器可以通過內置觸覺反饋組件制動器的運動,將遊戲里接觸不同物體的觸覺精準傳遞到用戶手中。這樣的表現才談得上是觸覺反饋,才談得上感官模擬、虛擬現實。
(用戶雙手持握PS VR2 Sense控制器)
結語
長城不是一天建成的,事物是在發展過程中不斷完善的。電話剛發明的時候,人們不會想到,有一天智慧型手機會成為必不可少的個人終端。因此,只有在硬體、軟體上不斷優化升級,增加更多有使用價值的實用功能,VR頭顯才有可能走得更遠。
本文屬VRPinea原創稿件,轉載請洽:[email protected]