卡內基梅隆大學研究員開發新系統,可結合智慧型手機視頻創建 4D 可視化效果

2020-07-02     segmentfault官方

原標題:卡內基梅隆大學研究員開發新系統,可結合智慧型手機視頻創建 4D 可視化效果

技術編輯:芒果果丨發自 思否編輯部

卡內基梅隆大學的研究人員已經證明,他們可以通過單獨的攝像機將 iPhone 拍攝的視頻結合起來,創造出 4D 可視化效果,讓觀眾從不同的角度觀看動作,甚至可以擦除暫時遮擋視線的人或物體。

以婚宴場景為例,從多個角度都可以看到舞者,就像有攝像機一樣,而走在婚禮隊伍前面的醉醺醺的客人卻不見蹤影。

4D 效果可由多個視頻源合成

卡內基梅隆大學機器人學院學院的博士生 Aayush Bansal 說,這些視頻可以在不同的有利位置獨立拍攝,還可以在一個場景中錄製演員,然後將他們插入另一個場景中。

Aayush Bansal 說:「我們僅受攝像機數量的限制,對可以使用多少個視頻源沒有上限。」

「虛擬現實」並不是什麼新鮮事物,但是在過去,它僅限於工作室設置,例如卡內基梅隆大學的 Panoptic Studio,該工作室在其測地線中嵌入了 500 多個攝像機。將多個獨立的手持攝像機拍攝的真實場景的視覺信息融合成一個能夠重建動態三維場景的綜合模型是不可能的。

Aayush Bansal 和他的同事通過使用卷積神經網絡解決了這一局限,卷積神經網絡是一種深度學習程序,已被證明擅長分析視覺數據。他們發現特定場景的卷積神經網絡可以用來組成場景的不同部分。

新系統不受設備限制,適用於智慧型手機

卡內基梅隆大學的研究人員演示了他們的方法,使用了多達 15 部 iPhone 來捕捉各種各樣的場景,包括在匹茲堡的國家養殖場,舞蹈、武術表演,甚至火烈鳥。

Aayush Bansal 說:「使用 iPhone 的目的是表明任何人都可以使用該系統,世界就是我們的工作室。」

這種方法也解鎖了電影工業和消費設備的大量潛在應用,特別是隨著虛擬現實頭戴設備的不斷普及。

雖然這種方法不一定能捕捉到完整的 3D 細節,但是該系統可以限制回放角度,使不完全重建的區域不可見,並且不會打破 3D 圖像的幻覺。

文章來源: https://twgreatdaily.com/zh-mo/rmXxDnMBiuFnsJQVCMZS.html

Flutter 知識點

2020-08-10