在蘋果Vision Pro發布之前，幾乎所有的國產VR或者AR終端均採用單主晶片架構，主晶片不僅需要處理空間交互、VST、手勢交互，同時還需要處理畫面圖像渲染補償等算法。以目前移動端性能最高的高通XR2 Gen2晶片來看，其性能實際上已經足以媲美高端的手機晶片。並且與上一代驍龍XR2相比，CPU的性能提高了33%以上，GPU性能提升了2.5倍，GPU能效提升了50%，可以處理多達10個攝像頭的數據，可實現12毫秒的超低延遲直通……

但由於VR/AR內容大部分為3D，畫面渲染工作量比平面2D高出數倍，加上還需要實時處理交互數據，所以現有的移動端XR晶片處理能力實際上對於VR/AR來說遠遠不夠，更不用說再加上VST、空間拍攝等新功能之後的負擔更是巨大。

所以當PC端的VR內容移植到一體機時，需要對內容畫面大幅減面，或者直接開發Low-poly風格，以減輕對畫面渲染的壓力。

如今單眼4K解析度、VST、手勢追蹤以及空間拍攝逐漸成為VR終端標配功能，對於產品性能要求直線上升。這也直接促使蘋果Vision Pro在採用Mac處理器晶片M2的同時還必須要增加一片性能強大的R1協處理晶片，以使Vision Pro達到極致的用戶體驗。

趨勢與需求逐漸清晰，但需要面對的現實是，此前VR/AR行業很長一段時間都沒有類似於R1的協處理晶片，用主控晶片在處理低延遲6DoF數據以及視覺渲染補償方面不僅功耗偏高同時還存在不少問題，且能運行SLAM的DSP 僅由極少數晶片大廠壟斷，國內自給率較低，導致VR/AR方案單一、價格昂貴。如何讓整個行業能夠出現更多的差異化產品，如何在更低的功耗下獲得低延遲高精度的空間定位及優秀的顯示效果是擺在所有VR/AR廠商面前的一道難題。

從單目到多目SLAM全面支持，「啟明」為VR/AR帶來選擇自由

經過多年發展，VR/AR的空間定位已經經歷了雷射、光學、紅外、超聲波、電磁等眾多技術路徑，最終統一到以視覺為主的inside-out技術方案。

而在視覺定位的範疇內，也發展出兩條不同的路徑，如VR從最開始的雙目發展到四目、五目，直到如今蘋果搭載外部12顆攝像頭+傳感器，極限堆料來實現高精度空間定位和MR交互、手勢交互等；另一方面，AR設備則為了更貼近輕薄的眼鏡形態和更低功耗，選擇了簡化攝像頭傳感器數量，形態從最開始的HoloLens、Magic Leap之類的頭盔式，逐漸變成現在以Birdbath、光波導為主的眼鏡形態產品。而為了使其在輕薄形態下還能實現SLAM定位、手勢識別，攝像頭傳感器的數量卻在不斷被減少，如今已經出現用單目實現SLAM定位的AR眼鏡技術方案。

SLAM是實現6DoF空間定位的核心技術，也是實現虛實融合的核心，直接決定用戶體驗。在此之前市場上一直沒有用於SLAM定位的國產專用晶片，直到今年10月耀宇視芯推出「啟明」，並宣布該晶片已經完成所有測試，成功流片。

這是一款基於自研算法推出的協處理晶片。通過接收攝像頭、IMU等傳感器的數據，經過計算和處理後輸出6DoF Pose，用以確定設備的定位和姿態。該款晶片不僅可以用於VR/AR頭顯、眼鏡設備的空間定位，同時還能用於自追蹤手柄和機器人視覺定位系統。

晶片小尺寸設計更貼合智能眼鏡輕薄化趨勢（圖源：耀宇視芯）

從性能上看，「啟明」可以提供高精度和極低延遲的6DoF Pose及優秀的顯示渲染補償。其支持30-120FPS視覺定位特徵提取，1000Hz 6DoF姿態的輸出，追蹤延遲小於1ms，並且不論是單目還是多目SLAM都能實現空間定位。

特別是在功耗控制方面，「啟明」表現極其優秀。在多種典型場景測試中，「啟明」的功耗表現（以下功耗已包含MIPI和USB接口傳輸功耗）數據都遠優於其他方案。

在雙目定位（30FPS+1000Hz IMU）測試環境下，「啟明」的功耗約170-180mW，而作為對比，目前市場上在主控晶片DSP中跑軟體算法功耗普遍會達到600-800mW，CPU中跑軟體算法通常會達到2-3W，功耗高會帶來一連串續航、發熱問題影響實際體驗，這也是困擾產品開發的重要指標。

此外，在單目定位（30FPS+1000Hz IMU）的測試環境下，「啟明」的功耗能進一步降低至130mW；甚至在極限低功耗單目定位（15FPS+1000Hz IMU）測試環境下，功耗僅僅100mW。

可見，相比採用CPU或DSP，使用「啟明」進行空間定位運算不僅能提升整個VR/AR系統的定位及顯示效果，還能夠極大降低VR/AR系統對核心處理器的資源占用及功耗。此外，一體式AR眼鏡相比VR頭顯對重量體積控制要求更高，「啟明」6.5mm×6.5mm的小封裝設計顯然也更加適應AR眼鏡輕量化的發展趨勢。

對於VR/AR設備來說，更強的GPU性能、更高的能效比、更佳的6DoF追蹤水平，都有利於產品適應未來AI技術不斷進步下的大型沉浸式遊戲、工業3D設計、VR教育醫療等元宇宙應用，擺脫對外部算力終端的依賴。

而「啟明」的加入不僅提供了優秀的6DoF技術，同時解放了VR/AR系統在主處理器選擇上的自由度，降低了設備品牌廠商在研發上的投入及產品疊代周期。用耀宇視芯的話說，「啟明」晶片「不僅可以搭配穿戴晶片實現極低成本，同樣也可以搭配PC晶片實現極致性能」。

自追蹤手柄的強力支撐，VR/AR交互更進一步

除了能夠作為頭顯/眼鏡的SLAM定位重要支撐外，「啟明」也可用於自追蹤手柄定位。

Quest Pro的發布讓手柄自追蹤技術來到台前，以往頭顯的手柄需要依靠頭顯上的攝像頭來進行追蹤，由於容易出現視覺定位遮擋或者光線影響導致手柄漂移、丟失等不穩定情況，所以在視覺之外往往都會配合IMU來進行補償計算。手柄自追蹤通過在手柄上加入攝像頭來使其實現其獨立追蹤，以擺脫對頭顯的依賴。

Quest Pro每個手柄上都裝有3個攝像頭進行追蹤

作為一種成熟且被廣泛接受的交互工具，手柄能為用戶提供精確輸入或複雜操作下的更好體驗。不過，VR/AR廠商在手柄研發上常常面臨雙重困境。

一方面，傳統的手柄由於需要儘可能地增加被頭顯攝像頭捕捉的面積，所以往往體積較大，重量較重，不便於攜帶的同時長時間使用也可能會讓用戶產生疲勞。所以，自追蹤一方面為了提升追蹤精度，同時也承載著為用戶帶來更好的使用體驗的設計初衷。

但另一方面，體積小、輕量化手柄相比傳統手柄又受到高精度追蹤的困擾。特別是當用戶體驗一些重交互內容的時候，對追蹤系統的穩定性和準確性提出了更高的要求。其次，由於高精度的追蹤通常需要進行更多的計算，但小型輕量化手柄往往需要通過限制傳感器的大小和數量減小體積，使得晶片選擇以及功耗管理成為輕量化手柄研發中的一個重要挑戰。

圖源：Meta

對於這一難題，「啟明」作為一款可以在手柄上搭載的複雜算法和高算力晶片，同樣通過高性能、低功耗的SLAM算法，減小手柄端攝像頭數量與性能負擔、大幅降低自追蹤手柄的成本，從而輕鬆在手柄上實現自定位追蹤。

據了解，「啟明」最低可以實現手柄上僅用1顆攝像頭來實現自追蹤，定位精度達到毫米級。

補齊安卓市場「短板」，耀宇視芯已支持數十家VR/AR企業

蘋果Vision Pro的發布常被視為市場的一大風向標，可以預見的是未來眾多VR/AR終端都將朝著這個風向標看齊，協處理晶片也將成為其中重要的一環。

在智慧型手機領域，雖然前面經歷了眾多系統百花齊放的亂戰時期，但最後形成的安卓與蘋果雙分天下的格局至今未變。相對於智慧型手機，VR/AR雖然有一部分可延續智慧型手機的供應鏈和技術，但其涉及到的技術面更廣。同時，作為可穿戴產品，產品需要考量的點包括光學、顯示、功耗、散熱、延遲、重量、佩戴人體工學等，每一個項目都是技術進步需要攻克的難關。

如今，蘋果在VR/AR領域以「頂配」一鳴驚人，我們也不得不承認其與市場上現有產品拉開的技術差距。詳情參考：《蘋果MR設備Vision Pro技術解析：極限堆料下，空間計算新時代開啟》

雖然鴻溝依然存在，但令人欣慰的是，每一個底層技術板塊都在不斷往前邁進，如單眼4K Micro-OLED顯示除了索尼之外，京東方、視涯等知名企業以及湖畔光電、宏禧科技等眾多創業企業都在加速研發；高性能主晶片板塊高通持續發力；SLAM、VST協處理晶片則出現了如耀宇視芯、萬有引力等備受期待的新星；此外，手勢識別和眼動追蹤等其他板塊也有巨頭和創業企業共同在推進。

安卓系與蘋果系取得平衡，形成良性競爭，最大化覆蓋消費用戶，產業才能健康發展。

據了解，目前耀宇視芯「啟明」晶片已經開始支持數十家廠商進行VR/AR眼鏡及自追蹤手柄的開發，取得了核心客戶二十萬片的意向訂單，並將於2024年2月份正式開啟批量供貨。

此外，耀宇視芯在兩年內已經完成了三輪融資，最近一輪於今年7月份由星納赫聯合敦鴻資產、弘博資本、伯藜資本等投資了數千萬元。

隨著人工智慧等各領域技術的持續突破，將二維信息重構遷移為空間三維信息將是未來數字化時代的核心。SLAM作為VR/AR領域的底層技術，其門檻降低將讓VR/AR虛實融合的體驗加速進入到人們的生產生活中。

作為國內空間定位協處理晶片先行者的耀宇視芯，也將以「啟明」為開端，從晶片級空間計算技術出發，貼合VR/AR不同需求打造包括8K級VST、無線雲分布式方案等在內的完善晶片級方案矩陣，支持更多VR/AR設備廠商快速開發產品並將主要精力聚焦到產品的場景化、差異化、商業化，助力虛擬現實行業快速高效發展。