題圖 / yoyo鹿鳴_Lumi
讓每一個宅男都能創造屬於自己的鹿鳴
自從米哈游這條鲶魚現身，二次元就被攪得天翻地覆，這攪動還不僅限於遊戲。7月15日米哈游的虛擬偶像@yoyo鹿鳴_Lumi（下稱鹿鳴）在B站開啟了首次直播，在二次元圈子裡再一次掀起討論。
在半小時的直播過程中，鹿鳴吸引了超66萬人前來圍觀，收穫了322位艦長（摺合收入約6萬多元）。隨後其直播錄屏很快突破百萬播放量，直播後鹿鳴的B站關注人數也成功突破150萬。
米哈游並未大範圍宣傳鹿鳴的直播首秀，也沒有提前公開太多技術細節。在虛擬直播火熱的當下，鹿鳴直播的營收也不算特別亮眼。相比於打賞漲粉，米哈游可能更關注的是本次直播對自身技術實力的驗證。對於前來圍觀的觀眾而言，他們也在鹿鳴身上看到了虛擬偶像的另外一種可能性。
虛擬人走到哪一步了？
虛擬偶像的發展年限並不長，人們對虛擬偶像的劃分基本是以初音未來、洛天依為代表的「虛擬歌姬」，以及包括絆愛在內的大量藉助視頻、直播迅速走紅的虛擬主播。
特別是後一類虛擬角色，在直播時大多採用虛擬形象+動作捕捉+中之人的模式，大大降低了這一行業的准入門檻。這也是基於當前技術背景下比較成熟的直播方式，既能滿足觀眾對直播的互動需求，又能打造虛擬偶像IP，在商業上已經有了以A-SOUL、彩虹社旗下大量虛擬偶像等為代表的成功案例。
實際上，虛擬人的另一個發展方向是以先進的數字引擎製造高保真數字人，達到以假亂真的視覺效果。這一技術的應用場景非常廣泛，在影視廣告製作方面已經有很多應用。不過追求高畫質的虛擬人項目，無論是全CG建模還是AI換臉，其初衷是用於展現技術實力還是打造IP品牌代言，一旦涉及到直播，就都繞不開對中之人的依賴。現階段的虛擬人除了角色建模之外，無論是動作捕捉還是語音互動，都需要由真人來完成。
圖源IoTWANT
如今的技術背景讓虛擬人直播時離不了中之人，然而由中之人導致的虛擬偶像塌房事件也在不斷上演。具體案例可以參見ACGx此前的報道《粉絲斗資本的戲碼在虛擬偶像市場上演了，不過這一次沒有贏家》。所以，如何讓「虛擬偶像永不塌房」這句口號成為現實？很多人將希望寄托在AI技術的突破之上。
此次鹿鳴直播之所以引起很多關注，就在於大家想看看「技術宅拯救世界」的米哈游會拿出什麼技術方案來解決虛擬偶像與中之人的這種矛盾關係。就像評論區所說：「虛擬主播圈終於開始討論『虛擬』而不是『主播』。」
技術宅如何「造人」？
鹿鳴的緣起，最早可以回溯到2018年。米哈游在當年的GDC上看到了UE4引擎的全真虛擬人Siren，便萌生了製作偏二次元審美虛擬人的想法。兩年之後，一段名為代號N0va LookDev Test的視頻在B站出現，隨後米哈游推出一款名為《人工桌面》的App，代號N0va也正式定名為「鹿鳴」。
鹿鳴一開始發布於B站的都是30秒以內的短視頻，更新不到20個視頻就已經積累了過百萬粉絲與超1億的總播放量。據米哈游總裁劉偉（大偉哥）介紹，每一條視頻其實都是在測試不同技術應用，比如表情、毛髮、肌肉動作等等。對於此前一直深耕Unity引擎的米哈游而言，想要玩轉UE4引擎必須有足夠多的投入。讓鹿鳴實現直播並達到與視頻輸出同等的畫面質量，則是大偉哥早就定下的階段性目標。為了實現這個目標，米哈游可謂準備了許多「黑科技」。
，時長
00:27
此次直播首先令人印象深刻的就是高畫質。鹿鳴的動作流暢，衣著和頭髮的處理細緻到位，表情與口型也和語音保持同步。直播畫面的確做到了媲美預渲染視頻的效果，這對於直播時普遍需要降低模型畫質來換取動作流暢度的虛擬主播界而言，的確算是「降維打擊」。
很多人都好奇米哈游是如何做到在直播中保持高精度畫質輸出的？對此，知乎網友@季逸超給出了自己的解讀。他認為鹿鳴直播畫質之所以有如此出色的表現，是由於米哈游採用了「實時動作捕捉+角色動作庫」的技術解決方案。也就是預先製作好鹿鳴的多套動作模塊形成動作庫，直播時當中之人/動捕演員做出相應動作時便從動作庫中調用相應的動作模塊進行播出。這個方案既能大大減少實時動作捕捉的數據計算量，又能保證直播的互動效果，讓觀眾看到更自然的反饋。不少3D動畫從業者也表達了對此分析的認可。
圖源：知乎用戶@季逸超
圖源：知乎用戶@林沐嵐風
不過這套方案目前也有它的不足之處，比如鹿鳴的動作庫數量並不豐富，直播中就不免出現重複性動作。僅安排30分鐘的直播，或許也是考慮到時間太長會導致重複動作過多而露餡。由於米哈游尚未披露此次直播的技術細節，以上分析僅代表網友的推測。不管米哈游使用了什麼技術方案，僅就直播的畫質效果來說，鹿鳴的確未來可期。
除了畫面的高質量，此次直播備受關注的還有鹿鳴的配音。在直播簡介中，鹿鳴的聲音一欄赫然填寫著「逆熵AI生成」，引起了非常多的討論。
米哈游的逆熵科技早在2020年就已經成立，主攻基於DeepLearning等AI技術來提升內容生產效率，說到底就是要追求遊戲製作的工業化。而鹿鳴的AI生成語音便是逆熵科技的研究成果之一。這一成果早在2021年的一段鹿鳴視頻中就已經有所展示。
「AI生成」這一說法其實有些曖昧。鹿鳴的語音到底是後台程式設計師手打文字讓AI按台本念出來的，還是直接將動捕演員的聲音通過AI重新輸出為鹿鳴的聲音，各方網友觀點莫衷一是。
從直播效果來看，鹿鳴的聲音明顯沒有電子音的感覺，音色更接近真人，說話非常流暢，這說明在語音輸出方面鹿鳴已經能做到以假亂真。但鹿鳴在與觀眾互動時的現場效果，在活躍氣氛與展示自身性格方面還是有些生澀。直播後段，鹿鳴連續跳舞之後會帶有明顯的喘氣聲，舞蹈時拍手的聲音也錄入到了聲音里。有觀眾根據這些細節推測鹿鳴直播背後依然有中之人，只是大家聽到的不是中之人本人的聲音，而是經過AI合成後的鹿鳴聲音。
關於這一點，大偉哥2019年在他的母校上海交大的一次演講中就講解過。據他介紹，逆熵AI的目標是通過深度學習記錄配音演員的聲音和情感，做到輸入文字就能輸出對應的配音。未來還可以將聲音塑造成IP，永久保留，甚至出售聲音的版權。
鹿鳴直播時的AI生成語音已經達到了大偉哥預期目標的哪一步，現階段尚不明確，但若是真的只靠文字輸入就能達到媲美真人的語音輸出，並且還能帶上真人特有的感情色彩，這無疑是令人興奮的技術突破。
而對於務實的米哈游來說，逆熵的AI語音系統其實已經有部分進入實際應用階段。此前在《崩壞：星穹鐵道》內測時，米哈游就做到了讓所有角色的口型都能與不同語種的配音匹配。這個匹配口型的細節工作之所以能夠高效率地完成，其中很可能就有逆熵AI的功勞。
鹿鳴此次直播，背後體現的是米哈游這兩年來的技術積累。有人懷疑此次直播只是錄播，有人推測互動情節都是按台本演出。30分鐘的實時渲染到底需要多少硬體支持，燒掉多少成本？在米哈游公布技術細節之前，這些問題暫時都還沒有答案。
但正如有評論指出的，當大家開始認真討論鹿鳴背後到底是中之人還是AI時候，米哈游此次直播的目的就已經達到了。
米哈游的野望
米哈游做這次直播其實是有點醉翁之意不在酒，它的目標已經不止於虛擬直播這個圈子。
如今的米哈游現金流充裕，並不需要通過畫餅一個虛擬偶像去尋求投資或提升估值，以鹿鳴切入虛擬主播這一行似乎也並非它的目標。正如大偉哥在講演中所說，鹿鳴直播之後的下一步，更有可能是進行技術輸出，將成熟成套的技術打包成工具包提供給更多的內容創作者。
米哈游此前就在積極投資腦機接口、核聚變等公司。就在7月18日，米哈游又出資1億元與三七互娛等公司成立創投基金，物色VR/AR等領域的初創公司進行投資。這些動作都反應了米哈游未來想進軍硬體甚至鑽研更底層技術的野心。
當然，這條道路並不是那麼好走。競爭對手非常多，且都有各自強項。像上文提到促使米哈游決定開啟鹿鳴項目的虛擬人Siren，其實正是騰訊NExT Studios與Epic合作推出的高保真虛擬人項目。如今騰訊基於UE4引擎創造的星瞳已經實現周更直播，《和平精英》虛擬數字人吉莉、《王者榮耀》虛擬男團「無限王者團」也相繼上線，星瞳更是在UE5引擎上市後第一時間推出基於新引擎的短片，在技術賽道上極力搶占高地。而在騰訊身後，網易、百度、位元組等公司這幾年也紛紛推出自己的虛擬企劃，各顯身手。
作為一家兩年前還被當作「初創公司」看待的企業，米哈游如今已將「上海四小龍」的其它三家甩到身後，成了財經媒體口中緊隨騰訊、網易之後的國內遊戲廠商「第三極」。外界之所以對米哈游有如此高的期待，就在於米哈游對技術有近乎執著的追求，而顛覆往往產生於追逐技術的過程之中。
鹿鳴直播只是米哈游的一次階段性成果，面對強大的競爭對手，米哈游要想實現自己的二次元偉業還有很長的路要走。在大偉哥的願景中，他是希望所有在未來進入米哈游HoYoverse虛擬世界的用戶都能擁有自己的虛擬化身。鹿鳴只是一個開始，讓每一個阿宅都能創造屬於自己的鹿鳴或許才是米哈游的終極目標。