VR為用戶創造了一個完全封閉的沉浸式交互3D空間。能夠打破這種「與世隔絕」的限制,讓虛擬世界與現實世界相融,並提供新的觀看和交互方式的MR展現出巨大的潛能。
一鍵切換沉浸觀影模式(圖源:蘋果)
從蘋果Vision Pro目前展示的體驗內容和場景來看,首先從原有內容生態移植的作品將是最早一批,而後隨著開發者對於蘋果開發工具以及產品的研究愈發深入,基於其核心眼動+手勢交互以及3D空間計算特性的內容將作為第二批開始湧現。
而無論是未來第一批還是第二批內容,由蘋果Vision Pro超高性能配置所引發的MR浪潮,3D高畫質的內容都將成為其中最為核心的一類。
MR大勢所趨,雲或將改寫虛擬世界規則
6月的蘋果全球開發者大會結束後,人們的注意力轉向了蘋果Vision Pro以及XR產業鏈相關公司,市場對MR的關注度持續提高。蘋果針對該平台重新設計了系統、晶片、光學、交互、平台以及開發工具,最終形成了一套完整的產品生態。雙4K Micro OLED螢幕、M2+R1雙處理器、高精度傳感器、12個攝像頭,結合蘋果的生態系統,Vision Pro每一項參數都朝著「頂配」的方向設計。
而蘋果推出如此高規格的產品,則與其本身的定位有關,蘋果將MR頭顯視為用於可滿足娛樂、日常活動、辦公場景以及提升生產力的工具。如此一來,硬體參數的提升對內容的質量也有了更高的要求,不僅是清晰度、流暢度、穩定性,還有強調沉浸度的交互感。
Quest Store(圖源:Meta)
一直以來,大部分的VR設備重點都聚焦在全沉浸的VR上,而自去年開始,陸續發布的VR終端開始結合VST功能,在VR的基礎上拓展虛實融合的MR場景成為了所有終端廠商不謀而合的一致目標,而蘋果更是將VST的透視效果拉到了天花板級別,讓體驗達到與OST(基於光學的透視效果)方案足以匹敵的水平。
VST是實現MR融合的技術形式之一,起初用於解決VR安全問題,用來完成定位並設置安全邊界,而後其功能逐漸擴展,進一步融合Lidar、空間映射、空間錨點、場景理解等AR功能。
隨著光學技術的進步,未來會有更豐富的視覺呈現形式應用於人們的工作生活和娛樂體驗中,MR融合已是大勢所趨。
儘管MR帶來了新的操作體驗,但市面上完成度高的應用並不多,大部分MR項目仍處於Demo階段。究其原因,首先搭載VST的設備上市時間較短,通常應用開發時間短則數月,多則數年,開發者接觸的時間並不算長,而且,大部分開發者的核心場景仍圍繞VR為主。而且,之前大部分終端VST效果有限,通過1600萬像素攝像頭所捕捉的現實世界畫面效果稍顯粗糙,畸變、延遲、SLAM穩定性仍需要提升。MR主打「與現實空間實時交互」的功能,更不用提很多設備連空間定位功能都不具備,可實現的交互能力也參差不齊。
此外,MR對硬體側實時渲染有很高的要求,由於所有資源均為3D,計算量遠遠大於2D內容,如果要渲染高解析度的畫面,對於計算性能以及帶寬的傳輸都是一大難點。
XR硬體參差不齊,大部分硬體算力又十分有限。如何降低各類成本,降低高品質內容與硬體設備的性能之間的強關聯屬性?雲技術或許有望成為MR時代改寫規則、解決成本和算力問題的有效解決方案。
作為蔚領時代探索MR世界的第一步,其《春草傳·木禾危機》雖然目前尚未完全MR化,但這一部影視級畫面表達的沉浸式3D交互作品,還融合了雲、AI、數字人等核心技術,或許作為第一批高畫質移植類作品中驗證技術融合價值的有力參考。
蔚領時代《春草傳·木禾危機》開啟探索MR第一步
7月26日,蔚領時代在上海浦東舉辦以「聚勢·破界」為主題的發布會。會上,其展示了集遊戲、雲渲染、AI(AIGC)的影視級沉浸式3D交互作品《春草傳·木禾危機》。
《春草傳·木禾危機》是《春草傳》的續作,第一部作品也以「電影級雲原生」為核心標籤,一經發出就積累了非常高的人氣。如他們在B站發布的《春草傳》技術演示視頻播放量已經超過百萬。同時主角「春草」更是憑藉高精度的動作和細膩的表情,以數字人演員身份正式出道,進一步深化作品IP價值。
圖源:B站截圖
《春草傳·木禾危機》作為續作,在前作的基礎上融合了非常多前沿技術的探索。相比第一部《春草傳》,現場蔚領時代使用Meta Quest Pro、Goovis以及裸眼3D螢幕和傳統TV四種形式來展示了第二部的體驗,雖然並沒有使用大家所理解的MR空間交互,但在VR/MR終端中,所呈現出來的3D和巨幕震撼效果,要遠超2D電視和裸眼3D桌面顯示效果。在蔚領時代看來,這是其邁向MR的第一步,未來還將探索更深更沉浸的空間交互體驗。《春草傳·木禾危機》巧妙地融合影視和遊戲,既具備觀賞故事性,同時也保留了一定的可玩性和交互性。
《春草傳·木禾危機》將以「連續劇」的形式分集推出,完整地講述一個故事,同時讓用戶參與到故事的推進中,這不僅大幅縮短了遊戲從立項到上線的時間,同時通過分集推出的形式,也改變了傳統遊戲的商業模式,可以讓用戶以訂閱的形式「追劇」。
讓人印象深刻的是作品堪稱「電影級」的畫面效果,據了解該遊戲地圖由複雜精細的船體和山體大規模堆疊而成,作品包體光模型就已經達到了40GB。
成本是開發者重點關注的因素,據蔚領時代創始人兼董事長郭建君介紹:「《春草傳》每一分鐘的成本接近130萬,我們做了7個月。而《春草傳·木禾危機》每分鐘的成本從130萬降到30多萬,我們的製作時間僅4個月。明年的時間我們要把製作成本從30多萬變成10萬~15萬每分鐘,如果有大量的團隊實現高效的生產力,我相信能夠實現蔚領第二曲線的生產目標。」
雖然在體驗媒介和開發的部分,融入了諸多新技術,不過與前作一樣的是,《春草傳·木禾危機》依然保留了雲原生的屬性。在2D平面終端上實現雲原生,與在以3D為核心的MR終端上實現,其數據量的差異可想而知,更不用說未來的MR終端即將要向雙眼8K的標準邁進,對於作品畫面表現的要求只會越來越高,而渲染的壓力也是指數級提升。
圖源:蔚領時代
實現雲原生電影級沉浸式交互背後的技術底層
過去的遊戲開發和影視製作的路徑是完全不同的,無論是資產容量還是內容質量,製作一款遊戲都不需要大規模分工。而《春草傳·木禾危機》作為蔚領時代集雲渲染、雲原生、AI等技術的大成者,相比傳統開發大幅實現了降本增效。
雲遊戲與本地遊戲的一大區別就在於算力差異,將渲染算力從手機側轉移到服務端側,算力將大幅提升,雲遊戲的畫面相比僅在手機端渲染有明顯的畫質提升。
然而不少MR內容難以落地的原因在於MR設備所附帶的算力始終有限,當下的目標是解決算力和傳輸的問題。
通過蔚領時代基於深度神經網絡構建的「端側實時超分」技術,可以解決MR項目難以落地的問題,降低端側要求的同時使用一部分空閒的端側算力來實現雲遊戲的效果。
《春草傳·木禾危機》畫面解析度要達到4K以上,在MR側平鋪顯示時才會有清晰震撼的視覺效果。而碼率的不足對於畫面的質量也會產生巨大影響,導致畫面不清晰或畫面延時。端側實時超分能有效解決這一問題,通過在服務端運行1080P渲染,端側本地超分提升至4K畫質,就可以在當前傳輸條件下,在MR平鋪效果中實現更清晰的畫質。同時,還能將雲端的渲染從4K降低至1080P,有效節省計算資源。
圖源:蔚領時代
雲遊戲的端側實時超分相比主流短視頻端側超分,計算量和IO基本上都是短視頻應用的4倍。為了讓超分技術落到實處,蔚領時代將技術核心聚焦到了近段時間風頭正盛的AI。
AI技術在優化3D資產方面有著舉足輕重的作用。蔚領時代AI Lab團隊利用AI在性能方面進行深度優化:
首先,通過量化、剪枝、重參數化等方式,極致壓縮模型大小,增強模型學習和表達能力;其次,通過運算元定製優化方式,在神經網絡推理側實現更高的層間並行度;最後,通過在CPU/GPU/NPU(AI晶片)中針對不同模塊選擇最合適的計算單元,實現最底層的內存共享,避免操作冗繁,給用戶帶來更好的娛樂體驗。
蔚領時代還攻關了「多GPU協同渲染」核心技術課題。據了解蔚領時代旗下業務部門「矽基大陸」主要研究GPU伺服器,搭載我們自身雲渲染技術,可為更多行業提供充裕的硬體和軟體支持。
搭建雲端GaaS能力,不僅在遊戲領域有著重要作用,在各行各業都有著非常大的需求。
蔚領時代認為,雲端GaaS能力的建設,有可能會成為未來MR虛擬時代需要匹配的基礎基建和算力基座。而基於已有能力展示MR內容的創新,也是蔚領時代重點打磨《春草傳·木禾危機》的原因之一。
圖源:蔚領時代
郭建君表示:「我們戴上MR設備是需要支付成本的,這個成本就是舒適性,它畢竟是一個穿戴式大眼鏡,同時還有安全性方面的考慮。當我們支付成本的時候需要換取一些東西,換什麼呢?換的就是沉浸感,但是一個可以互動的動漫在沉浸感的塑造上不夠理想。所以MR本質上對於遊戲行業的要求,應該是讓遊戲可以從互動的動漫升級為可以互動的影視,達到影視級別的視覺效果,大家才會在沉浸感上得到一定的滿足。」
MR將是人類感受虛擬世界的主要入口,用MR構建蔚領第二價值曲線
近期,蘋果正式開放Vision Pro開發者硬體申請,並提出了諸多針對應用開發指南。蘋果Vision Pro讓MR開發者看到了更大的創意發揮空間。而MR視覺和交互兩大體驗的升維,讓蔚領時代看到了MR的前景。
目前的主流觀點之一是:MR有望成為新一代通用計算平台。回顧通用計算平台的發展,以螢幕為代表的輸出設備發生非常大的變化,從PC到智慧型手機,再到更小MR,螢幕在向「物理小尺寸、虛擬無限屏」變化,通過MR獲得的體驗也是PC和手機難以媲美的。
目前僅依靠2D螢幕無法直接進入到《頭號玩家》那樣的虛擬世界,但通過3D,MR有望掀起新浪潮。
郭建君先是回顧了蔚領時代的發展歷程,5G傳輸速率的提升,雲計算ToC的巨大前景,遊戲場景與雲的完美契合,這些機遇點使得蔚領時代順利從0到1推進雲遊戲,但以手機為代表的移動終端不一定是雲遊戲的最大需求場景,對算力和內容有著極大需求的還有MR。
他表示:「當前數字經濟正在進入網際網路3.0階段,網際網路經歷從數據、算法時代,開始向可視化升級發展,在這一大趨勢下,MR將是人類感受虛擬世界的主要入口,實時渲染技術則是沉浸式視覺體驗時代的基礎。MR作為重要的視覺載體,是我們從現實世界穿越到一個更加複雜,或者說更加可視化的虛擬世界的重要入口。因此在我們看來,下一個時代的核心就是從計算到可視化的渲染。」
圖源:蔚領時代
成立於2019年的蔚領時代,一直被外界界定為一家實時雲渲染解決方案提供商。雲遊戲是蔚領時代的第一曲線,而在雲遊戲之上,郭建君有著自己的想法:「我們是一家科技公司,我們想做的第二曲線是幫助XR內容實現工業化生產,但是難在遊戲本身還沒有工業化,影視實現了工業化,我們又先在影視領域進行學習。而蔚領時代將與更多產業夥伴達成生態戰略合作,進一步完善其以實時雲渲染為底層技術邏輯的元宇宙生態,向下一代數字世界算力基座的偉大目標全力奔跑。」
朝著這個目標,蔚領公布了由4大事業部和2大能力中心構成的全新組織架構—— 虛擬方舟工作室、雲遊戲事業部,矽基大陸事業部,數字人事業部以及AI Lab與「宇宙魔方」開發者平台兩大中心。
虛擬方舟工作室作為蔚領時代標杆案例的輸出方,主要負責將其核心技術能力以產品的形式呈現出來,如《春草傳》系列均由該團隊開發。
雲遊戲事業部是蔚領的業務基石,《雲原神》、《幻塔》以及小米雲玩上超過150款雲遊戲,都是該事業部沉澱下來的成果。
「矽基大陸」通過多GPU互聯加上其投資的浸沒式液冷技術,從硬體層提供雲端的GPU能力。據了解,其目前服務的客戶超過30家,合作落成的數據中心有50家,並實現了2萬台出貨量。
數字人事業部帶來了通過一張2D照片生成超寫實數字人的技術,並且在此之上通過智能綁定,實現數字人的口型、面部表情以及肢體動作的驅動。「這項技術是我們和影眸科技一起聯合開發,由他們生成數字人資產,我們自己研發的智能綁定系統,可以高效地把3D模型驅動起來。」
AI Lab 在現場展示了一部由AI生成的雲原生3D動畫作品《靈月之境》,作品中的場景、人物的表情、動作全都由AI生成。「今年AIGC的爆發讓我們看到了更激進的未來,我們覺得AI不只是生產力的提升,而是一個生產力的解放」,AI Lab負責人王硯峰表示。
最後「宇宙魔方」開發者平台,則是集成了內容的開發、運營和部署的一系列工具,目標提升分發效率,據稱根據既往案例數據,在該平台上內容分發的效率平均提升了70%,算力成本平均降低了60%。
正如蔚領時代本次發布會所強調的那樣:「我們以碳基大陸為起點,搭乘方舟,跨越算力之海,找尋矽基大陸的過程。它也是一個虛擬世界建設的過程、探索的過程,那裡有無窮的美好等著我們去探索。」