混合現實+AI+智能眼鏡!Meta Connect大會打出組合拳

2023-09-28     VR陀螺

原標題:混合現實+AI+智能眼鏡!Meta Connect大會打出組合拳

文/VR陀螺 Welkin、萬里

北京時間9月28日凌晨1點,Meta Connect大會正式拉開帷幕。

作為Connect大會的重點,馬克·扎克伯格在Keynote演講中公布了Meta Quest 3、個性化AI模型、第二代智能眼鏡以及系列MR內容生態。以下是Keynote演講的重要信息匯總。

Quest 3與爆料完全一致,首發高通XR2 Gen 2,引入Augment玩法

Quest 3的信息與此前公布或爆料完全一致,產品參數表如下:

活動現場,扎克伯格花了較長的篇幅介紹了未來元宇宙時代可能會出現的一些新變化趨勢:現實世界實際上是我們所居住的物理世界和正在建立的數字世界的結合,但我們接觸數字世界主要是通過螢幕,它就像置於與我們的物理生活完全不同的平面之上。我認為未來幾十年XR行業中最有趣的問題之一將是:如何把我們擁有的物理體驗與這個充滿活力的數字世界統一起來,創造出比任何東西都更連貫、更好的東西?

當前這個問題的最佳答案或許是MR。Quest 3基於兩顆彩色攝像頭和一顆深度傳感器實現VST,它所顯示的物理空間像素要比Quest 2高10倍,並且可以自動映射所處的空間。

演講中,扎克伯格提到了幾種Quest 3所能實現的虛實結合用例:

  • 拿起一個數字球扔向牆面它會反彈回來;
  • 遊戲玩家朝你射擊,你可以躲在物理沙發後面;
  • 可以在真實房間拼虛擬樂高或者在任何平面放置自己的創作;
  • 與身處不同地點的朋友在現實空間玩一場擬真的桌面遊戲;
  • 在房間中進行一場遊戲作戰式健身訓練。

此外,扎克伯格還介紹了Quest 3的MR大屏觀影場景,用戶可以將螢幕錨定在物理房間的任何地方,就像真正的螢幕一樣。今年12月份,Quest 3將推出Xbox雲遊戲服務,屆時玩家可以通過頭顯暢玩《光環》、《上古捲軸》等數百款大型遊戲。

Quest 3即將在明年帶來一個名為Augments的新功能,這是一種能夠識別空間的交互式虛擬對象,它可固定於現實環境中。如用戶可以在牆上掛上包含Facebook和Instagram照片/視頻的電子相框等。未來Quest Store可能會帶來更多MR裝飾以及品牌合作玩法。

Quest 3首發驍龍XR2 Gen 2,圖形性能是上一代的兩倍。會上拿即將發售的《阿斯加德之怒2》舉了一個例子:初代遊戲需要外接PC才能正常運行,如今可以在一體機設備上直接遊玩。此外,《刺客信條Nexus VR》、《Roblox》、《XRadium》等也將會在Quest Store中進一步引入。

關於辦公以及生產力,Meta將於下周推出Meta Quest for Business服務,便於企業大規模管理、使用MR應用及設備。此外,Workspace、Microsoft 365等辦公套件也即將推出。

Quest 3售價499美元,現已接受預定,於10月10日發售。官網指出,限時購買Quest 3有機會免費獲得《阿斯加德之怒2》,購買512GB版本還有機會獲得6個月的Meta Quest+訂閱服務。

圖像生成模型Emu 5秒生成照片,打造多達28款個性化AI角色

在過去一年中,Meta相繼推出了文本生成3D視頻模型、圖像分割模型SAM、開源大語言模型Llama 2等。扎克伯格提到,目前團隊正著手於將最先進的AI帶入數十億人使用的應用程式中(即Facebook、Instagram等社交全家桶)。Meta現已推出測試版Meta AI,這是一款適用於社交APP以及智能設備的高級對話助手。

會上,扎克伯格還公布了團隊正在研究的圖像生成模型Emu。基於Emu可以生成一系列高質量的照片,它的一大特點是生成速度很快,只需要大約5秒鐘。Emu即將在Facebook的聊天以及貼紙功能中推出,並計劃在下個月上線Instagram等平台。

此外,扎克伯格還公布了早些時候《華爾街日報》所爆料的「Meta個性化AI」計劃。扎克伯格指出,團隊並不認為未來會存在一個能夠與每個人都進行互動的單一超級智能,相反,人們需要與一堆不同屬性不同角色的AI(AIs)進行交互並完成相關活動。

Meta團隊已經打造了多達28個個性化AI形象,他們每個人都有相應的社交帳號、具有不同的身份,用戶可以在社交平台上與他們進行不同類型的對話。如你可以向AI角色Lily詢問主題演講稿建議、向Lorena詢問旅行計劃、與Snoop Dogg玩一場文字冒險遊戲等。個性化AI將於明年實現語音交流能力。

Meta還在著手於構建一個人工智慧平台AI Studio,該平台包含系列AI API接口,將在未來幾周內開放。此外,團隊還構建了一個沙盒,使得不會編碼的人也能夠訓練人工智慧,這一功能將於明年年初發布。

扎克伯格特別提到,團隊正努力將AI帶到元宇宙中使之具體化,它們將以Avatar呈現,可以應用於遊戲NPC、企業客服或者代言人等,這是Meta接下來一年的工作方向之一。

新一代智能眼鏡,內置Meta AI,續航拍照進一步提升

除頭顯外,此前爆料的新款智能眼鏡Ray-Ban Meta也得到亮相。Meta曾與雷朋合作打造了Ray-Ban Stories,這款眼鏡配備了雙攝像頭以及揚聲器,可以實現拍照、聽音樂等功能。有數據指出,初代Ray-Ban Stories共計銷售了超過30萬台,但是設備活躍度一般。

對於這類智能眼鏡,扎克伯格表示:我認為智能眼鏡將成為未來的一個重要平台......之前團隊不少人認為智能眼鏡只有當真正實現3D全息圖、內置顯示器等才會真正普及,但是這需要很長的時間。如今得益於AI的進步,內置的AI助手將能看到你所看到的,聽到你所聽到的,AI將與其他AR功能同樣重要。

新款Ray-Ban Meta與上代類似,同樣配備揚聲器、攝像機等組件,但它具有更好的圖像以及視頻質量、更出色的音頻效果以及更舒適的佩戴體驗。

新款眼鏡配備了32GB存儲,可拍攝12兆像素照片和1080p視頻。聲音方面,Ray-Ban Meta全新設計了揚聲器,具有更大的音量、更好的低音效果。其改進了定向音頻設計,能夠進一步改善漏音等問題。

Ray-Ban Meta的佩戴舒適度也有所提升,眼鏡的重量進一步減輕,並且重量分布有所改善,採用了更通用的鼻貼合橡膠墊,並支持IPX4防水等級。

Ray-Ban Meta搭載高通驍龍AR1 Gen 1處理器,處理器運行功耗低於1瓦,智能眼鏡充滿電可持續使用4-6小時,充電盒可以為眼鏡持續充電8次。

產品集成了Meta AI,用戶可通過「Hey Meta」喚醒,現場提到了它所能實現的幾種用例:詢問烹飪菜品所需時間;打球時判斷是否違反規則;詢問一些醫療建議等。Meta AI將會在美國地區率先推出。據透露明年Meta還將為Ray-Ban Meta推出軟體更新,屆時它將能獲得更為強大的現實場景理解能力,如識別建築名稱、翻譯指示牌、詢問水龍頭修理建議等。

其他方面,Ray-Ban Meta還新增了Facebook和Instagram平台的視頻直播功能。此外,Meta對眼鏡外側的LED也進行了改進,LED在設備拍攝錄製時會發出更明顯的閃爍提醒信號。

Ray-Ban Meta售價299美元,將於10月17日推出。

憑藉MR和Xbox雲遊戲,Quest 3的內容生態將呈爆炸式增長

▋遊戲

在扎克伯格之後,Meta公司的CTO Andrew Bosworth和開發者關係主管Melissa Brown先後登場,進一步介紹了Meta Quest 3上的內容生態。

佩戴過VR頭顯的用戶都知道,在啟動時都需要手動設定虛擬邊界,以確保使用時的安全性、避免現實環境對用戶造成危害。Quest 3可以自動識別場景,無需再手動設置邊界,不僅如此,識別到的現實環境還可以成為虛擬世界的一部分。比如房間裡的沙發,能夠作為射擊遊戲中的掩體;《Drop Dead: The Cabin》里的喪屍,會翻過房間裡的家具;《First Encounters》里的外星人飛船,會「撞破」天花板,落在客廳的茶几上……

明年,Meta還會更新另一大功能:允許用戶使用交互式和空間感知的數字對象「Augments」,來裝飾自己的房間。比如把一幅虛擬的藝術品掛在牆上,在桌子上放置天氣預報提醒裝置,讓牆上的虛擬相框顯示發布在Facebook和Instagram上的視頻或照片,通過傳送門快速返回自己喜歡的VR遊戲等等。而且這些虛擬物品都會錨定在現實環境的特定坐標上,因此每次戴上Quest 3,它們都會在相同的位置出現。

圖源:Meta

迄今為止,全體用戶在Quest商店的累計消費已達20億美元。在內容生態方面,Quest 3向下兼容Quest 2、Quest Pro等頭顯適用的全部內容,因此在發售當天就有超過500款遊戲和應用可供挑選——這些無疑是Quest 3內容生態的堅實基礎。不僅如此,今年內還會針對Quest 3推出超過100款新遊戲和升級遊戲,而且其中超過一半以上會包含MR內容。

「新遊戲」指的是全新推出的遊戲新作,雖然它們也會登陸Quest 2等其他平台,但無疑在Quest 3上才會有更好的體驗,包括:

  • ·預定11月16日上市的育碧經典IP《刺客信條Nexus VR》
  • ·將於12月15日發售的3A級大作《阿斯加德之怒2》(預訂Quest 3的用戶可以免費獲得)
  • ·根據網飛熱門劇集改編的《怪奇物語VR》
  • ·在今天的Connect大會上新公布的樂高授權遊戲《LEGO Bricktales》等

LEGO Bricktales(圖源:Meta)

「升級遊戲」則是指已經發售,但會針對Quest 3的硬體升級和相關技術推出更新補丁,從各方面優化遊戲體驗的作品。以《行屍走肉 聖徒與罪人》為例,升級後的畫面表現將有大幅提升,同屏的喪屍數量更多,並且加載速度也會更快;今年8月登陸AppLab的《Roblox》上線5天,下載量就突破百萬,該作今天也正式登陸Quest商店,而且會有針對VR的超過5000種優化體驗。

去年的Meta Connect大會上,微軟CEO薩蒂亞·納德拉曾登場宣布與Meta的多個合作項目,其中遊戲方面的合作終於將落地。Xbox Cloud Gaming服務將於今年12月登陸Quest平台,屆時用戶們可以在VR頭顯里的便攜3D巨幕上,隨時體驗包括《光環 無限》《我的世界 傳奇》《極限競速 地平線5》在內的數百款優質Xbox遊戲,這一合作無疑讓Quest上的遊戲數量得到指數級增長。(註:需要付費訂閱Xbox Game Pass Ultimate服務,並額外購買無線手柄。)

Xbox Cloud Gaming(圖源:Meta)

▋社交

Meta的元宇宙平台Horizon Worlds本月將更新兩款遊戲:6人聯機的射擊遊戲《Super Rumble》,融合了Roguelite元素的動作冒險遊戲《Citadel》。此前第三方Horizon創作者都必須在VR內構建世界,而這兩款遊戲則是通過PC軟體導入3D資源和TypeScript製作的。

社交體驗正在Quest上快速發展,尤其是在與遊戲相結合時,Meta也希望更多開發者能選擇在他們的遊戲中添加社交功能。在未來的一年裡,Meta將更新Quest上的社交功能,比如讓用戶能夠從聊天介面接受好友的邀請,直接進入遊戲。而虛擬化身的體型、妝容、發色等,也會有更多的選擇。

此外,Horizon World目前已經可以在網頁和智慧型手機端運行,無論用戶使用什麼設備,都能與朋友們相聚,這也令社交元素變得更加便捷和出色。

圖源:Meta

▋健身

健身類應用在Quest 3上會得到更加充分的施展:《LES MILLS BODYCOMBAT》增加了MR模式,讓家庭瞬間變成健身房;《FitXR》首次將Zumba健身操引入VR;《Headspace》是一款即將發布、注重心理健康的應用,能通過VR的沉浸感使人更加專注;得益於Quest 3解析度的提升,熱門VR健身應用《Supernatural》的場景也得到升級,而且費用從19.99美元/月降低為9.99美元/月。

▋視頻

視頻方面,用戶可以通過《Xtadium》觀看身臨其境的NBA比賽和MMA現場直播;在Red Rocks和iHeartRadio Live音樂會上於前排位置免費觀看喜歡的藝術家的表演;或者在Peacock和Pluto TV等流媒體應用程式上觀看電影、電視和體育節目。

改編自經典黏土動畫片《Wallace and Gromit》(國內譯名:超級無敵掌門狗》的VR互動體驗《Wallace & Gromit in The Grand Getaway》也即將登陸Quest 3。購買該作還能獲得MR遊戲《Jamtastic!》,將Wallace和Gromit帶進玩家的客廳,讓虛擬角色與玩家更緊密地聯繫在一起。

圖源:Meta

▋辦公

數以百萬計的人已經使用Quest上的工作場所和生產力應用程式,而Quest 3和MR只會加速這一趨勢。

對於希望有效利用Quest的企業,Meta有一系列關鍵業務工作應用程式可以提供幫助。微軟和Adobe等頂級企業軟體製造商也推出了自己的新產品:Adobe Substance 3D Modeler已於今年早些時候推出,可以讓用戶在VR、桌面或兩個平台之間進行建模;Microsoft Mesh for Teams現已進入公開預覽階段,可以輕鬆加入身臨其境的會議。

Microsoft 365將於今年年底登陸Quest,用戶可以使用Word、PowerPoint和Excel等熟悉的生產力應用程式。Windows 365很快將提供一種新的方式,安全地將Windows體驗傳輸到Quest,包括用戶的個人應用程式、內容和設置。

為了幫助企業充分釋放潛力,Meta將在下個月推出Meta Quest for Business。它允許企業在用戶、應用程式和設備層面管理設備,提高團隊工作效率,確保企業安全,此外還提供企業級客戶支持。

圖源:Meta

結語

今年回歸線下的Meta Connect圍繞MR、AI和智能眼鏡作為基調演講的核心,而扎克伯格心目中的元宇宙大業,其實也在AI的助力下持續發展著。

有意思的是,扎克伯格在會上還隱約談到了對於蘋果Vision Pro的看法:創新的一個重要部分是確保技術對於每個人都可訪問(顯然Vision Pro 3499美元的高售價訪問性沒那麼好),而Meta的做法是持續創新並讓每個人都負擔得起。此外,扎克伯格還談到,對於Quest 3而言,只需要花費499美元,就可以擁有更好的解析度、優秀的MR體驗、緊湊的一體式設計,顯然是一個更具性價比的選擇。

Meta Connect將持續兩天,除了今天的基調演講外,來自Meta和其他相關企業的行業精英還會基於不同的主題、通過演講的形式進行分享。VR陀螺也會持續關注,為各位奉上本次大會的後續資訊。

文章來源: https://twgreatdaily.com/zh-tw/8aa1d25c1bf4c7ebd03980302100ac4a.html