iPhone 15 Pro+三方軟體,開拓「空間視頻」平民時代

2023-12-05     VR陀螺

原標題:iPhone 15 Pro+三方軟體,開拓「空間視頻」平民時代

文/VR陀螺 冉啟行

2023 蘋果秋季發布會上,iPhone 15 Pro 系列帶來了一個彩蛋功能——空間視頻拍攝。

該功能將 iPhone 與 Vision Pro 進行了生態聯動,不僅增強了 Vision Pro 的用戶生活場景,更能為明年 Vision Pro 的銷售埋下伏筆。

伴隨著 iOS 17.2 beta 2 版本的推出,我們終於得以看見「空間視頻」的真面目。本文,筆者通過 iPhone 15 Pro 空間視頻拍攝,3D 內容格式轉換、並基於市場主流 XR 硬體進行體驗,推測未來產業風向。

空間視頻拍攝需求:約50cm距離,要兩倍內存占用

iOS 17.2 beta 2 中,空間視頻拍攝功能需要用戶主動啟動。在 iPhone 主「設置」應用程式中,打開「相機」選項,然後打開「格式」,然後將「Apple Vision Pro 的空間視頻」選項切換為「打開」。

當打開相機應用程式並將其切換為視頻拍攝模式時,在左下角將看到一個 Vision Pro 的頭顯小圖標。點擊它將其打開(它會變成黃色),然後將 iPhone 旋轉到橫向就可以進行拍攝了。

圖源:VR陀螺

值得注意的是,目前空間視頻的拍攝參數中 1080P 解析度、30 fps 是固定的設置,無法進行修改。在對於某一物體進行空間視頻拍攝時,手機鏡頭離物體最近的距離被要求為至少約 50 cm以上——這與開啟「人像模式」時類似,要求更遠的距離,以獲取更多的信息。

空間視頻的拍攝需要用到 iPhone 15 Pro 的主攝鏡頭+廣角鏡頭,兩顆鏡頭的共同使用,最終形成具備「景深」效果的空間視頻。當然,這樣的拍攝和如此內容,也提升了其內存占用。

VR 陀螺實測發現,一分鐘的空間視頻拍攝會占用 120 M。相比之下,同等規格參數,普通視頻拍攝的在 60M 左右。為了區分傳統2D視頻。空間視頻拍攝完成後,視頻的左上角會出現一個空間視頻的表示符「空間」,文件後綴方面與普通視頻保持一致,都為 MOV。

圖源:VR陀螺

其他方面,與普通視頻相比,空間視頻在顏色描述文件上也有特定的區別,表示為「HD(1-1-1)」,普通視頻則表示為「BT.2020 HLG (9-18-9)」,這是一組有趣的數據對比。

相關資料顯示:HD (1-1-1) 和 BT.2020 HLG (9-18-9) 是兩種不同的色彩描述文件,它們的色彩空間標籤、傳輸特性和矩陣係數各不相同。HD (1-1-1) 是標準的 Rec.709 文件,這是一種應用於廣播電視行業的顏色空間標準,其色域較窄,但廣泛應用於各種顯示設備上。

相比之下,BT.2020 HLG (9-18-9) 是 ITU-R BT.2020 標準的一部分,這是一種新的高動態範圍(HDR)視頻標準,其色域更廣,亮度級別更高,旨在實現更加逼真的影像效果。

換言之,同等解析度下,空間視頻採用了比普通視頻「一些參數」略遜一籌的色彩描述文件。採用 HD(1-1-1)可能是出於對空間視頻的效果、效率、準確性和一致性的考慮,有待專業人士進一步探討。

看完了拍攝空間視頻的流程,以及其基本參數格式,我們再來看空間視頻的播放。空間視頻最初設定只能在 Apple Vision Pro 上進行體驗,然而,通過由 @Naituw 開發的第三方軟體 Spatialify 可以將空間視頻轉化為 SBS 這樣更常見的 3D 視頻格式,以在其他支持 3D 的設備上播放。

圖源:VR陀螺

空間視頻+三方軟體,體驗不止Vision Pro

「空間視頻包含適用於你雙眼的兩路圖像,如果這些圖像能被投射到對應的眼鏡里,就會產生 3D 效果。」在 Spatialify 的介紹里,我們看到了這樣的空間視頻原理解釋。

這也意味著只要是能夠「實現雙目分別呈像」的設備,即可播放空間視頻,並不局限於蘋果Vision Pro。

圖源:VR陀螺

目前,Spatialify 支持 2D 模式、平行眼模式、Cardboard 模式三種播放形式,並且用戶可以在播放介面調整視頻參數(畫面縮放、瞳距修正),以通過手機觀看。

通過「鬥雞眼」的方式,的確能看出 3D 效果,不過對於眼睛也確實有些許難受。好在 Spatialify 支持將空間視頻導出其他 3D 格式,目前包括半寬左右格式(HSBS)、全寬左右格式(FSBS)、半高上下格式(HOU)、全高上下格式(FOU)四種格式。

視頻導出介面有一個「水平視差整」的應用功能。據介紹空間視頻可能包含「Horizontal Disparity Adjustment 元數據」,開啟後,會根據該信息調整輸出的視頻圖像可以得到更準確的視差效果,但會損失少量畫面內容(通常少於 5%)。

還有一個名為 Spherical Video V2 的元數據選項。據介紹,開啟後,Stereo3D 元數據(st3d box)將被寫入輸出文件,這可以幫助識別視頻的 3D 格式和布局。此元數據支持 HSBS 和 HOU 格式,不過上傳到的視頻平台可能不能完全支持,如 YouTube 目前僅支持 HSBS。

圖源:VR陀螺

做完了這一系列的複雜工作,現在我們終於可以在 VR 頭顯和 XR 眼鏡上體驗空間視頻了。

體驗部分:空間層次感,從設備到內容

(一)Quest 3自帶播放器體驗空間視頻

通過 Quest 3 的文件管理器,可打開上述四種格式的 3D 視頻,只需在播放器右下角進行選擇即可。

圖源:VR陀螺

「景深效果、距離感、3D感」,在打開功能鍵的那一刻真正體驗到了蘋果 Vision Pro 所宣傳的空間視頻的魅力。筆者也真正明白了它所包含的「空間」的視覺意義,即三維立體感,肉眼可以明顯感受到物體前後的距離,層次較為分明,特別是當人左右前後移動時,效果更明顯。

(P.S. 家人們,千萬別拉大畫面,走近看,差點暈死,滿屏雪花,「沉浸感滿滿」,想吐。)

圖源:VR陀螺

空間視頻雖不像 360°/180° 全景視頻那樣擁有超大畫面,但畫幅小的一個好處在於它擁有足夠高的清晰度,可以讓用戶更好體驗到 3D 的魅力。整體立體感相對不錯,不過,筆者在體驗由 Spherical Video V2 元數據優化後的視頻,會看到視頻畫面在移動中可能產生些許畸變。

另外,值得注意的一點是,空間視頻在拍攝時,一定要注意拍攝物體本身物理空間需要存在一定深度差異,最終 3D 效果才會更加明顯。正如蘋果所宣傳的那樣,記錄人在一定空間範圍的場景活動,或是更好的 3D 拍攝對象。

圖源:VR陀螺

從已體驗過 Vision Pro 的部分開發者那裡,筆者聽到了「iPhone 15 Pro 拍攝空間視頻效果更好的反饋」——在 Quest 3 的空間視頻體驗中。

(二)PICO 4:基於《空間西洋鏡》體驗

當然,對於國內用戶來說,體驗空間視頻最好的 VR 設備可能還是親民的 PICO 4,筆者也用 PICO 4 進行了簡單體驗,不過這次主要使用的是一款名為《空間西洋鏡》的軟體,在此感謝業內朋友的推薦。

《空間西洋鏡》是一款可提供瀏覽空間照片、空間視頻、並可以調節瞳距的播放器軟體,由開發者 @Eis4TY(Github)打造,該軟體兼容 PICO & Quest 平台。

與 Quest 3 的 MR 環境不同,《空間西洋鏡》提供了一個沉浸式的「模擬室內」虛擬環境,實際體驗會發現其 UI 似乎高度模擬 Vision Pro,主打簡約美學。

圖源:VR陀螺

從筆者上述導入的空間視頻其實可以非常明顯看到「手臂」與「背景」的距離感,並且手臂仿佛增加了如人像模式的「特寫」一般。不過,體驗並非完美,當筆者拉大播放器畫框之後,在視頻播放過程中,由於鏡頭的運動,可以看到空間視頻邊緣明顯的畸變——這應該是手機拍攝本身帶來的一些局限性。

有業內朋友指出,蘋果 Vision Pro 的 UI 介面邊緣有毛玻璃虛化,在播放空間視頻時,邊緣的畸變就看不出來了——不得不說這是一個十分巧妙(心機)的設計。

圖源:VR陀螺

(三)雷鳥、Rokid分體式XR眼鏡體驗

除 VR 頭顯外,XR 眼鏡同樣支持空間視頻的播放,筆者主要測試了 Rokid 和雷鳥創新的 BB 方案分體式眼鏡。由於 iPhone 15 Pro 的 USB-C 接口,使得眼鏡可以通過數據線直連手機,這使得空間視頻的播放,變得更容易。而無需像 VR 頭顯那樣,還需要一台電腦做文件中轉站傳輸。

分體式 XR 眼鏡的使用非常便捷,但是這就不太利於筆者錄素材了,只能通過手機攝像頭二次拍攝。以下圖片僅供參考,空間視頻體驗請以實際為準。

市面上不少 XR 眼鏡支持 3D 格式的視頻播放,不過僅限於左右格式,也就是 HSBS 和 FSBS。XR 眼鏡直連手機後,即可打開 3D 視頻。需注意:XR 眼鏡通常默認投屏 2D 顯示畫面,若需播放 3D 視頻,雷鳥 Air Plus 可通過長按左側撥輪按鍵,Rokid Air 長按亮度鍵 4 秒。

圖源:VR陀螺

相比於,VR 頭顯的空間視頻播放——基於 iPhone,在分體式 XR 眼鏡上的體驗,可以說是一個固定的大屏,雖然沒有 6DoF 那樣可隨意走動的自由,不同角度的觀察,但是 3D 的立體感受依然深刻,值得體驗一番。

另外,在實際體驗中半寬左右格式(HSBS)在 XR 眼鏡上播放時,會感覺畫面被切割掉了一半,讓本就近視的筆者,只能睜一隻眼閉一隻眼感受 3D ,十分難受。

從PGC到UGC,手機3D拍攝未來或成標配

空間視頻的出現,為視頻內容的生產和消費帶來了新的變化。

以往 3D 拍攝需要專業的設備和技術,只有影視製作公司或專業機構、攝影師才能完成,而且成本高昂,播放方式也受限。這導致了 3D 視頻內容的供給相對稀缺,主要以 PGC(專業生產內容)為主,而 UGC(用戶生產內容)近乎沒有,很少流通。

iPhone 15 Pro 空間視頻拍攝功能的出現,打破了這種局面,讓 3D 拍攝的門檻降低到了手機,讓普通用戶也可以輕鬆拍攝出具有立體感和逼真感的視頻,從而有利於促進 UGC 的發展。空間視頻的 UGC,不僅可以豐富視頻內容的多樣性,也可以激發用戶的創造力和參與度。

用戶可以利用空間視頻,來記錄自己的生活、旅行、工作等場景,讓觀眾有一種身臨其境的感受;也可以利用空間視頻,來表達自己的觀點、情感、想像等,讓觀眾有一種與作者共鳴的感覺。正如此前筆者在另外一篇文章中所述,新的內容展現形式崛起的背後,或會有新的大平台出現,再造一個 XR 版「抖音」神話。

圖源:網絡

蘋果一直是智慧型手機行業的創新者、引領者,伴隨著 iPhone 15 Pro 系列空間視頻拍攝的支持,相信其他手機廠商也不會任由其壯大,從布局到落子是一個時間節點配合的問題。

根據最新消息顯示,國內手機巨頭華為明年將推出 VR 眼鏡產品,定位高端旗艦產品,對標蘋果 Vision Pro,將搭載旗艦處理器,並擁有內部風扇驅動散熱模塊、支持外接電池等。另據韓媒報道,三星電子移動體驗部門已於近日確認其 XR 設備將於明年 12 月實現批量生產,初始產量(出貨量)設定為 3 萬台。

其他手機廠商,包括 OPPO、vivo、榮耀等也有相關動作。基於手機的 3D 拍攝,或成未來三年內手機攝像頭內卷的下一個功能指標,而 XR 硬體也將在這內容沉澱的時期,逐步擴大發展。

文章來源: https://twgreatdaily.com/zh-my/cd6e281040789c8d7755f6d10394c8fd.html