作者｜James
如果你曾關注過近期的AIGC相關新聞，可能會注意到一家名叫「影眸科技」的初創公司，頻繁出現在各種相關展會的新聞里。跟他們一起亮相的，往往還有一個高大的「球」，可以容納一個人坐在裡面，然後等一段時間，就可以生成他頭部的逼真3D掃描文件，甚至可以3D列印一個自己的腦袋。
這就是影眸科技的主營業務之一——高精度人物面部採集和3D資產生成。由於其生成精度高、速度快、效率優的特點，他們與影視劇、遊戲等文娛行業客戶正在開展範圍廣泛的合作。
而他們正在研發的另一個方向，則是「3D生成」——用一兩句提示詞或者是圖像就可以生成符合要求的數字角色三維資產，為娛樂產品開發、個人使用以及今後向元宇宙的進化打造堅實的基礎。
影眸科技由上海科技大學的視覺與數據智能中心孵化，主要研發基於AIGC的三維內容和數字形象構建、生成技術。不久前，公司CEO吳迪向娛樂資本論·視智未來介紹了公司的技術和商業化進展。
VOL.1
從30天到3天：高精度採集助力下，迅速生成3D資產
走進公司位於上海張江的辦公室，首先能看到的就是影眸科技研發的「穹頂光場」，這是一座引人注目的黑色球形框架，直徑3米左右，占滿了一整個房間。框架就像一根根火柴棍搭在一起一樣，組合成為一個中空的球體，而這些框架放滿了可編程控制的光源和相機。
「穹頂光場」是世界唯二、亞洲唯一的的微米級面部掃描系統。吳迪表示，影眸科技自2016年就開始研發採集系統、面部驅動綁定等數字形象相關的技術，先後研發出了六代設備。其中「穹頂光場」是最新一代。
當你踏入這個球體並坐下時，各個角度的攝像機開始拍攝，可在極短時間內掃描出人臉上的所有細節，包括顏色、材質、反射特性等數據。再結合影眸自研的自動化數據處理系統，生成影視級數字形象資產的速度縮短到了3天。
吳迪介紹說，如果有的3D數字人看起來有點「假」的話，其中一個最大的影響因素就是光照不夠真實。「穹頂光場」並非一般的多視角掃描，而是進行多光照信息的採集，獲取面部紋理細節，以輸出適用於PBR（Physically-Based Rendering）渲染的各種貼圖，讓3D數字人在不同的光照環境渲染下呈現逼真的效果。
此外，「穹頂光場」還可以進行4D掃描，即在三維空間的基礎上，掃描面部表情隨時間變化的信息。這些信息又可以作為訓練高精度面部表情驅動模型的基礎。
影眸多次參加全球最頂尖計算機圖形學會議ACM SIGGRAPH。在去年的會議上，影眸科技發表論文描述了他們自主研發的面部表情驅動技術。該技術通過訓練深度神經網絡模型，實現只通過視頻圖像，就可以精確驅動數字人臉模型進行複雜表情變形，也就是效果明顯更優的3D「換臉」。
目前，全球只有極少數團隊能實現這樣的技術，而優質的原始數據是技術得以實現的基礎。「這是全球獨一無二的，因為它對系統和算法的配合要求極高，如果沒有長達5到6年的研發時間以及上科大給予的大力支持，是很難完成的。」吳迪說。
VOL.2
從光場掃描，到AI生成
基於「穹頂光場」的高數據精度，能做的事情顯然也不僅是面部掃描那麼簡單，而是可以踏入數字形象與生成式AI相結合的未知領域。
「實際上，我們採集大量數據後，我們可以通過更簡單的方法獲得三維資產，那就是生成。例如，我可以描述我需要一個慈祥的老奶奶，我們的系統可以根據描述生成相應的3D模型。」吳迪對娛樂資本論·視智未來表示。
今年8月，影眸科技成為50年來首次入選SIGGRAPH Real Time Live 的中國大陸團隊。數字人生成技術ChatAvatar也在會上首次亮相。
ChatAvatar已經在影眸科技的網站上開放體驗。用戶輸入提示詞後，會發給一個簡單的聊天機器人，可以用引導式提問幫助用戶更好地描述需要的模型，無需進行大量的填表、選項、拖動等參數設置。
該技術可以僅通過「生成一個慈祥的老奶奶」這樣簡單的描述，就可以生成出符合描述的三維老人模型，可供Unity、Blender等軟體直接導入。
「它實際上生成的是一個標準的商業資產，就像我們掃描出來的一樣，它帶有PBR的材質，可以選擇拓撲結構，可以添加貼圖，以及表情綁定，可以直接接入遊戲和影視的常用製作軟體中。」
吳迪認為，用生成式AI來做數字人，優勢明顯：
描述方式非常自由，用戶既可以用各種形容詞進行主觀描述，也可以使用照片、原畫「圖生3D」，不受限制；
可生成速度極快，單次生成資產只需不到30秒，且可以批量生成。這種生成方式非常適合需要大量不同數字人的應用場景，如電影、動畫中的群像演員、遊戲的個性化NPC等。
不同於文生圖的一次生成不可修改，3D在生成後可以非常簡單地導入任何專業軟體進行拉伸、縮放等調整。
在未來，甚至只要對文生3D的結果進一步調整和描繪，就可以再次定製成品模型。以此為基礎，用戶可以追加提示詞讓「年齡增加10歲」或者「讓眉毛粗一點」。
這種技術已經具備了初步商業應用的條件，不僅在影視、遊戲製作中節省了時間和成本，還提高了藝術家的創作效率，使創意更加高效地呈現和預覽。未來，ChatAvatar將從生成人頭和身體擴展到生成毛髮甚至是服裝，以供用戶生成完整的3D人物形象。
VOL.3
電影是技術驗證的最高方式
在年初電影《流浪地球2》上映時，曾披露其中一些人物的「增齡」和「減齡」用到或測試了國內公司的部分技術。無獨有偶，面對娛樂資本論·視智未來，吳迪也表示，影眸科技已經在部分國內影片中參與了前期的技術選型。
「我們開始進行面部採集等系統測試的時候，這部電影的拍攝工作已經基本完成，因此只有在一小部分場景中應用了一些簡單的測試。由於時間緊迫，以及電影製作中對穩定性的考慮，很可惜我們沒有提供到太多的幫助，但我們仍舊期待著國內的更多影視和遊戲作品可以使用到我們的技術。」
影眸科技將電影級應用視為驗證技術最高質量的方式。如果在電影製作中可以勝任，那麼下放到影視、廣告、遊戲等內容產品就會更夠用、更好用。公司在開發出文生3D的測試版後，也及時聯繫了一些文娛行業企業發去試用，請他們提供改進建議。
對於當前的商業化進展，吳迪表示，影眸科技已與多家影視遊戲公司達成合作。這些公司可以通過影眸科技的平台，以低成本高效地生產所需的虛擬人物。用戶只需要簡單描述，或者上傳人物設計的2D概念圖，就可以完成數字角色的製作，以生成人物計算，至少可以比傳統製作流程節省大約50%的時間成本。
「我們主要現在接入的領域比較多的還是遊戲和影視，因為他們非常清楚會用到這樣的技術。實際上，遊戲業一年在3D資產上花費有百億美元，他們是我們潛在服務的第一批用戶。我們通過『穹頂光場』去採集大量的數據之後，再通過深度學習生成逼近於同等精度的3D資產，對很多場景來說完全夠用。」
目前，影眸科技已經與多家國內頭部遊戲公司進行了產品測試合作。這些公司反饋，該技術可以大幅提升數字角色的製作效率，為遊戲創作提供更多可能性。與此同時，人臉生成服務也以付費模式面向個人用戶開放內測，生成過程本身免費，但如果要下載後自用，或者獲得商業使用授權，則分別需要支付一些費用。
影眸科技與上海科技大學關係密切。吳迪是上科大的早期校友，他的本科和研究生時光都在學校度過。他介紹說，影眸科技源自上海科技大學信息學院視覺與數據智能中心的孵化，可視為該實驗室的成果轉化。影眸科技承繼了上海科技大學在人工智慧領域的技術積澱。
影眸科技已完成千萬級Pre-A輪融資，投資方包括奇績創壇，以及紅杉中國等頭部機構。
吳迪預測，在元宇宙、VR/AR時代到來後，影眸科技的技術將大幅提升普通用戶的三維內容生產能力。屆時，公司的商業模式將有更多地方是直接面向終端消費者的，而商業前景也將更為廣闊。
「其實最終我們想要達到的是一個AIGC用於三維生成的概念，就是通過AI模型直接生成三維角色、物體乃至場景的標準資產用於今後VR和元宇宙等的應用。顯示介質進化後，所有目前人類儲存的二維資產都有需要提升到三維，但當前生產力跟不上，要求每個人都擁有工作室級別的三維創作能力是極其困難的。因此，在這種情況下，AI的生產能力變得極為重要。我們需要讓任何人都可以生成三維的創作內容，以便更好地迎接下一個時代。」