大數據文摘出品
作者：劉俊寰
看到下圖這位中年男士，你會不會覺得有種「在哪見過」的似曾相識感？
沒錯，你肯定見過他。
要是文摘菌告訴你，這是兵馬俑的「現代版面貌」，你信嗎？
可還別不信，在微博博主「大谷Spitzer」的最新作品中，他復現了各種老雕塑、人物畫像的「現代版」，從上邊的兵馬俑跪俑、到大禹治水圖和林黛玉畫像，還讓他們都活了過來。
是的，這次大谷沒有修復老視頻，跑去修復「古人臉」去了。
那麼我們還是先來看看兵馬俑小哥到底是怎麼被還原的：
除此之外，還有「現代版「林黛玉，這一顰一笑，真是太真實動人了：
甚至徐悲鴻，眉宇間還有一絲少年的青澀：
網友們紛紛表示，「大谷玩得越來越有意思了」，也有人說，想看聖人、神仙和四大美女。
不過，眼尖的網友也發現，AI還原的人物存在較大的偏差，「感覺美顏了，沒內味兒了」。
甚至還有人表示，以後抓通緝犯就可以公布AI動圖了。
文摘菌在第一時間再次聯繫到了這位正在「用技術為社會做一些有意義的事情」的作者，來看看大谷這次又為大家帶來了哪些更新的內容吧。
不斷試錯：黛玉被美顏，大禹被換了髮型？
以兵馬俑為例，我們也先跟隨大谷，簡單了解一下整個項目的製作流程。
根據大谷介紹，這次他使用的AI項目包括Artbreeder、Stylegan-Art、Realistic-Neural-Talking-Head-Models以及First-Order-Model，當然用於補幀和提高解析度的DAIN和Topaz Lab的AI也是不能少的。
第一步，需要從兵馬俑中截取出頭部的方形照片。
為了更好地讓系統識別，大谷用PS簡單給「金屬質感」的兵馬俑先上了皮膚的顏色，然後利用Artbreeder進行人臉識別，輸出一張寫實風格的人臉，再在Artbreeder內調整一些細節，用PS做最後的微調，最後再導入First-Order-Model，就生成了我們所看到的動態圖。
看似很簡單就完成了，但真正實施起來，因為是第一次做這種項目，每一步都要進行多次試錯。
首先，第一步照片的選擇上就有很大的問題。
可能大家也能猜到，正臉的人臉識別效果當然是最好的。除此之外，人臉是否在整個畫面中也會影響最後的效果，比如大家可以對比一下夢露和黛玉，夢露的頭髮有部分在畫面外，這就會導致生成的動圖看上去像是頭髮黏在了背景上，甚至有時候分成了兩層。
眼尖的同學可能也發現了，在大禹治水的圖中，背景是全黑的，這其實也是大谷做的一個小調整。因為本身人物戴了個帽子，但是Artbreeder把帽子識別成了頭髮，如果在這個基礎上直接進行後續操作的話，看上去就像是腦袋被削掉了一塊，大谷就乾脆把背景換成了純黑，只保留了臉部。
這樣做出來的動圖肯定也還有一些瑕疵。
就像上文提到，有人在微博下方評論到，「沒內味兒了」，黛玉的效果圖看上去像是被美顏了一樣。
大谷表示，這其實是由於First-Order-Model輸出圖像大小只有256×256，像素太低，輸出後他用Topaz Lab提升了一下解析度。
如果只生成靜態圖的話，可以看到很多細節，甚至毛孔都清晰可見，但是用First-Order-Model轉動態後，像素就太低了，後期不得不用其他的AI進行補幀和解析度提升。
除此之外，因為這次的項目取材範圍很廣，涉及到了不同年齡層和不同的年代，除了黛玉，老年人的「美顏效果」就還蠻明顯的。
這也正是需要不斷去試的原因所在。不過大谷表示，一些失敗的案例還挺有趣的，下次會整理一個失敗合集，附在視頻最後。
這裡我們也可以先劇透一下，一睹失敗的案例到底能失敗成什麼樣子
大谷表示，這也是因為這次使用的是一個pre-trained模型，如果要徹底解決低像素輸出問題，需要額外訓練一個2048的模型。
據了解，這次的項目「斷斷續續做了兩個月」，不過，有了第一次的經驗，大谷表示，下次準備自己錄點表情去做，這樣能省去找合適的圖片的問題，同時他最近也看了很多這類技術的視頻和帖子，可能在修改代碼後，能夠讓這些技術更好地貼合目前的流程，下次視頻或許就有更好的結果了。
修復神器First-Order-Model，動動手指就能讓人「活」起來
這次的項目，大谷仍然主要參考了海外技術博主Denis Shiryaev，不過在實際操作中還是有一些差別，比如Shiryaev主要處理的是西方油畫角色，大谷主要針對東方歷史人物進行了修復處理。
不過，他們的大體流程是類似的，用到的工具也都主要是First-Order-Model。
說到First-Order-Model，可不要以為這個系統只能做臉部動態轉換，大谷介紹道，First-Order-Model可以生成打太極的動作，還支持五官局部的替換，比如你可以把鋼鐵俠的鬍子換到特朗普臉上。
其實這項技術已經在國外很火了，但大家更多利用到的是GoogleColabNotebook上的簡化版模板，不需要寫代碼，只需要按按鈕就可以運行。
而且國外的網友往往都是把一些明星唱歌的片段替換到各種歷史人物、電影角色、遊戲角色上去。
除此之外，大谷說到，First-Order-Model還可以支持服裝模特的轉化，不過這個功能更像是處於嬰兒階段，沒有特別成熟，大家可以看下圖自行體會一下：
「現在的人工智慧技術激發了人們的創造力。」大谷感嘆道。
「不會拘泥於某一方面，也不會說突然就不做了，（各個方面）都會去做一做，主要是想把中國文化用現代技術結合起來，分享給大家，給大家帶來獨特的感受。」
大谷的AI修復系列視頻
說到大谷利用AI修復老視頻，相信大家一定都不會陌生了。
5月，系列修復視頻第一彈上線，迅速在網際網路上引起熱議。
當時，大谷主要針對畫面進行了修復，整個過程分為補幀、擴解析度、上色三個環節，雖然效果十分經驗，但還是存在不足，比如畫面中的顏色會出現跳來跳去的情況，紅綠服裝等方面的真實性也有待商榷。
隨後，7月，大谷帶來了老北京修復視頻的第二彈，這次他把目光聚焦於修復老視頻中的聲音，還原了近百年前最真實的京片子。
有了上次的經驗，這次畫面上的效果更好了，大谷表示，這次主要使用到的是Topaz和DeepRemaster，前者在邊緣的處理上更加平滑，後者在靜幀和平移的畫面修復上的效果會更好。
針對第二次的修復效果，大谷本人也十分表示滿意，不過可以看出，其實在畫面顏色上還存在部分閃爍，解析度也還有提升的空間。
在聲音的修復上，視頻本身的錄音效果就已經足夠好，他主要利用到的是AE和PR里的去噪功能，但去噪主要針對以低頻為主的聲音，處理後整體的聲音效果聽上去就會比較「干」，所以在去噪後，大谷還加入了一些混響，讓聲音聽上去更自然。
而在盲人演奏的音樂部分，大谷主要加了一些混響，沒有再做過多處理，他表示，音樂本身的混聲就比較嚴重了，如果再去噪的話，低音樂器的聲音就會被掩蓋住。
然後就是在8月初，大谷從老北京「轉戰」到了老上海，為我們帶來了百年前老上海的時裝秀表演，視頻中，三位1929年的上海小姐姐現場為你講解當時上海的流行時尚趨勢。
在這次的技術實現上，大谷表示，他主要利用的也是DAIN、DeOldify、Topaz和DeepRemaster，對原片進行了上色、補幀、擴大解析度等操作。
正如在最新一期視頻下方有網友留言表示，「大谷玩得越來越有意思了」，AI技術本身存在無限可能，再加上大谷勇於探索的精神，相信他還會為我們帶來更多有趣的作品。
文章來源: https://twgreatdaily.com/zh-cn/oDXGKXQBLq-Ct6CZBbps.html