大數據文摘出品
作者:Caleb
五一小長假說沒就沒,在這裡文摘菌先祝大家復工快樂(狗頭)。
作為假期主力軍的青年們也在這期間度過了自己的第N個五四青年節。
而在5月4日當天,騰訊公關總監在微博上感嘆道,「當我們忙著做各種致敬青年的策劃時,青年們正在睡覺」。
不過有這麼一個策劃,不僅吸引到了當下青年們的關注,還勾起了老人們對自己青年時期的部分回憶。
青年節當天,央視新聞推出大型融媒體AI修復節目《彩繪中國·覺醒》。
這也是首次使用4K電影級技術修復上色歷史紀錄膠片,同時使用了最先進的影像技術,力求還原百年前的崢嶸歲月。
在影片中,從1901年仍有外國軍隊在上海南京路巡邏,到1917年中國勞工開赴第一戰場,再到巴黎和會,直至五四運動爆發,中國青年奮鬥的身影從未消失過。
AI與人工齊上陣,力求呈現最真實的歷史樣貌
在知乎上,根據《彩繪中國·覺醒》執行編導回顧,製作過程充滿了艱辛。
首先製作團隊就面臨著資料補全的困境,從中央新影的影資庫到法國國防部的下屬影像機構,除尋找資料本身的痛苦之外,執行編導還表示,「黑白膠片看多了導致看東西都缺色彩」。
隨後便要對影像素材進行4K掃描,對存在的髒點和劃痕等進行修復。
之後便利用AI進行初級上色,AI上色完成後再進行人工逐幀上色,這也是最重要的一個環節。
最後的最後,團隊還會進行AI補幀和超解析度處理。
說到這個項目,執行編導表示,他們之所以要對老影像進行修復上色,就是想還原一段歷史,因為當時的人們並非生活在黑白無聲的世界裡,他們所有的努力就是想向老影像致敬並以電影的體驗方式呈現出來,以此把觀眾帶入到那段時空當中去,感受一百年前人們的精神風貌。
在未來,他們還會出更多的史料修復。
對此,有網友對團隊表示感謝,「逐幀上色,辛苦了」。
也有網友感慨於影片中呈現的歷史,感受到了「一個時代青年人的覺醒與抗爭」。
老視頻修復近年來大火
除了本次在青年節推出的《彩繪中國·覺醒》外,過去一年,AI修復老視頻得到了大家越來越多的關注。
其中最知名的當然還要屬大谷了。
去年5月,一位名叫「大谷Spitzer」的博主推出了他的首個老視頻修復項目,從視頻中可以看到百年前的老北京是如何生動的面貌。比如左下角這個呆呆地看著鏡頭的小哥,細微表情也清晰可見,青澀中還帶有一點可愛,想像一下這位憨厚的小哥來自一百年前,讓文摘菌感慨萬千。
然後在7月,大谷再度推出修復視頻,這次他把目光對準了視頻中的聲音修復,還原了百年前最地道的「京片子」,看看學生們買飯的場景,好不熱鬧。
在老北京系列視頻後,大谷上傳修復系列之上海時裝秀,視頻中,三位1929年的上海小姐姐現場為你講解當時上海的流行時尚趨勢。
戚風天鵝絨晚禮服、帶有西班牙元素的晚袍、高腰線齊邊長裙、波波頭、翡翠耳飾、玉耳環和珠子......三位小姐姐用流利的英文向我們介紹百年前的中國時裝,東西結合之美,讓人止不住驚呼太美。
根據大谷本人介紹,每個老視頻修復項目都可以大致分為補幀、擴解析度、上色三個環節,每個環節也都用了不同的工具,整體框架的流程則主要參考了Denis Shiryaev在社交媒體上分享的經驗貼。
說到Denis Shiryaev,就不得不提到他用Gigapixel AI將1896年拍攝的50秒無聲短片《火車進站》(the Arrival of a Train at La Ciotat Station)做成了4K格式,把模糊的原片做成了高清畫質。
根據介紹,Shiryaev使用Topaz Labs的Gigapixel AI和DAIN圖像編輯應用程式將1896膠片縮放到4K解析度,不僅將素材增加到4K,還將幀率提高到每秒60幀。
在借鑑Shiryaev的帖子之外,大谷也逐漸摸索出了自己的一些修復經驗,比如Topaz在邊緣的處理上要更加平滑,畫面效果也更好,以及DeepRemaster可以導入一些手繪圖或者歷史圖像作為參考圖,修復的效果就會穩定在參考圖的範圍內,同時場景中顏色的抖動也變得更加平穩。
當然,DeepRemaster技術本身也存在瓶頸,不是所有的場景都能直接套用,就大谷的個人經驗來說,對於動作劇烈或者是人臉很多的場景,比如市井,都沒辦法使用這項技術,DeepRemaster更適合那些靜幀、平移的畫面,比如音樂表演。
就像大谷在視頻所說,他想用技術做一些對社會有意義的事,「太深刻的大意義倒也說不上」,主要是想藉此讓人們對歷史有所反思。
關於GAN的爭議
說到AI上色,就不得不提到一種深度學習網絡架構,GAN(Generative Adversarial Network,生成對抗網絡)了。
GAN是非監督式學習的一種方法,通過讓兩個神經網絡相互博弈的方式進行學習。這就需要提及GAN的組成,其由兩部分組成,生成器(Generator)和鑑別器(Discriminator)。
生成器會從潛在空間(latent space)中隨機取樣作為輸入,輸出結果儘量模仿訓練集中的真實樣本,鑑別器則是力求將生成網絡的輸出從真實樣本中儘可能分辨出來,而生成網絡便要儘可能地欺騙判別網絡。
兩個網絡相互對抗、不斷調整參數,最終目的是使鑑別器無法判斷。
除了修復影像外,GAN也廣泛應用於生成三維物體模型以及逼真的假照片。
比如普林斯頓大學的本科學生Alice Xue就開發了一種生成對抗網絡,這個AI模型可以生成傳統的中國山水畫。論文中提到,在一項242人的圖靈視覺測試研究表明,該模型創作出的畫作被誤認為人類藝術品的頻率高達55%。
為此,Alice Xue也獲得了普林斯頓2020優秀畢業論文獎。
不過,GAN的相關技術也一直引發著廣泛的討論和爭議。
去年3月,開發用於在線比賽的全自動西洋棋棋盤的初創公司REGIUM就被人舉報了,因為在公司頁面的工程師團隊介紹中,六人只有Delgado和Balcells兩人確有其人。
而其餘四人則是通過網站thispersondoesnotexist,利用AI生成不存在的人類面部照片。這也導致人們進一步懷疑,這個登上眾籌網站的項目和產品,「本身可能就不存在」。
當時就有網友打趣地評論到,「這算是給GAN的圖像生成技術找了個絕佳的落地場景麼?」
針對以REGIUM為代表的、由GAN引發的種種事件,我們必然需要再度反思技術帶來的雙面性,的確,大規模的虛假複製將對於平台、個人都將造成不同程度的傷害。
但我們仍需知道,看似作為罪魁禍首的GAN技術,仍然是一種通用的東西,而真正將此濫用的,正是我們人。
或許正是出於對現在以及未來GAN的逐漸「瘋魔化」趨勢,thispersondoesnotexist的創始人Phil Wang就表示,他想要在以後堅持真實的臉部圖像,「人的臉對我們的認知最重要,因此我決定提出該特定的預訓練模型」。
對此,你怎麼看?歡迎在評論區留言討論~