大数据文摘出品
作者:Caleb
五一小长假说没就没,在这里文摘菌先祝大家复工快乐(狗头)。
作为假期主力军的青年们也在这期间度过了自己的第N个五四青年节。
而在5月4日当天,腾讯公关总监在微博上感叹道,“当我们忙着做各种致敬青年的策划时,青年们正在睡觉”。
不过有这么一个策划,不仅吸引到了当下青年们的关注,还勾起了老人们对自己青年时期的部分回忆。
青年节当天,央视新闻推出大型融媒体AI修复节目《彩绘中国·觉醒》。
这也是首次使用4K电影级技术修复上色历史纪录胶片,同时使用了最先进的影像技术,力求还原百年前的峥嵘岁月。
在影片中,从1901年仍有外国军队在上海南京路巡逻,到1917年中国劳工开赴第一战场,再到巴黎和会,直至五四运动爆发,中国青年奋斗的身影从未消失过。
AI与人工齐上阵,力求呈现最真实的历史样貌
在知乎上,根据《彩绘中国·觉醒》执行编导回顾,制作过程充满了艰辛。
首先制作团队就面临着资料补全的困境,从中央新影的影资库到法国国防部的下属影像机构,除寻找资料本身的痛苦之外,执行编导还表示,“黑白胶片看多了导致看东西都缺色彩”。
随后便要对影像素材进行4K扫描,对存在的脏点和划痕等进行修复。
之后便利用AI进行初级上色,AI上色完成后再进行人工逐帧上色,这也是最重要的一个环节。
最后的最后,团队还会进行AI补帧和超分辨率处理。
说到这个项目,执行编导表示,他们之所以要对老影像进行修复上色,就是想还原一段历史,因为当时的人们并非生活在黑白无声的世界里,他们所有的努力就是想向老影像致敬并以电影的体验方式呈现出来,以此把观众带入到那段时空当中去,感受一百年前人们的精神风貌。
在未来,他们还会出更多的史料修复。
对此,有网友对团队表示感谢,“逐帧上色,辛苦了”。
也有网友感慨于影片中呈现的历史,感受到了“一个时代青年人的觉醒与抗争”。
老视频修复近年来大火
除了本次在青年节推出的《彩绘中国·觉醒》外,过去一年,AI修复老视频得到了大家越来越多的关注。
其中最知名的当然还要属大谷了。
去年5月,一位名叫“大谷Spitzer”的博主推出了他的首个老视频修复项目,从视频中可以看到百年前的老北京是如何生动的面貌。比如左下角这个呆呆地看着镜头的小哥,细微表情也清晰可见,青涩中还带有一点可爱,想象一下这位憨厚的小哥来自一百年前,让文摘菌感慨万千。
然后在7月,大谷再度推出修复视频,这次他把目光对准了视频中的声音修复,还原了百年前最地道的“京片子”,看看学生们买饭的场景,好不热闹。
在老北京系列视频后,大谷上传修复系列之上海时装秀,视频中,三位1929年的上海小姐姐现场为你讲解当时上海的流行时尚趋势。
戚风天鹅绒晚礼服、带有西班牙元素的晚袍、高腰线齐边长裙、波波头、翡翠耳饰、玉耳环和珠子......三位小姐姐用流利的英文向我们介绍百年前的中国时装,东西结合之美,让人止不住惊呼太美。
根据大谷本人介绍,每个老视频修复项目都可以大致分为补帧、扩分辨率、上色三个环节,每个环节也都用了不同的工具,整体框架的流程则主要参考了Denis Shiryaev在社交媒体上分享的经验贴。
说到Denis Shiryaev,就不得不提到他用Gigapixel AI将1896年拍摄的50秒无声短片《火车进站》(the Arrival of a Train at La Ciotat Station)做成了4K格式,把模糊的原片做成了高清画质。
根据介绍,Shiryaev使用Topaz Labs的Gigapixel AI和DAIN图像编辑应用程序将1896胶片缩放到4K分辨率,不仅将素材增加到4K,还将帧率提高到每秒60帧。
在借鉴Shiryaev的帖子之外,大谷也逐渐摸索出了自己的一些修复经验,比如Topaz在边缘的处理上要更加平滑,画面效果也更好,以及DeepRemaster可以导入一些手绘图或者历史图像作为参考图,修复的效果就会稳定在参考图的范围内,同时场景中颜色的抖动也变得更加平稳。
当然,DeepRemaster技术本身也存在瓶颈,不是所有的场景都能直接套用,就大谷的个人经验来说,对于动作剧烈或者是人脸很多的场景,比如市井,都没办法使用这项技术,DeepRemaster更适合那些静帧、平移的画面,比如音乐表演。
就像大谷在视频所说,他想用技术做一些对社会有意义的事,“太深刻的大意义倒也说不上”,主要是想借此让人们对历史有所反思。
关于GAN的争议
说到AI上色,就不得不提到一种深度学习网络架构,GAN(Generative Adversarial Network,生成对抗网络)了。
GAN是非监督式学习的一种方法,通过让两个神经网络相互博弈的方式进行学习。这就需要提及GAN的组成,其由两部分组成,生成器(Generator)和鉴别器(Discriminator)。
生成器会从潜在空间(latent space)中随机取样作为输入,输出结果尽量模仿训练集中的真实样本,鉴别器则是力求将生成网络的输出从真实样本中尽可能分辨出来,而生成网络便要尽可能地欺骗判别网络。
两个网络相互对抗、不断调整参数,最终目的是使鉴别器无法判断。
除了修复影像外,GAN也广泛应用于生成三维物体模型以及逼真的假照片。
比如普林斯顿大学的本科学生Alice Xue就开发了一种生成对抗网络,这个AI模型可以生成传统的中国山水画。论文中提到,在一项242人的图灵视觉测试研究表明,该模型创作出的画作被误认为人类艺术品的频率高达55%。
为此,Alice Xue也获得了普林斯顿2020优秀毕业论文奖。
不过,GAN的相关技术也一直引发着广泛的讨论和争议。
去年3月,开发用于在线比赛的全自动国际象棋棋盘的初创公司REGIUM就被人举报了,因为在公司页面的工程师团队介绍中,六人只有Delgado和Balcells两人确有其人。
而其余四人则是通过网站thispersondoesnotexist,利用AI生成不存在的人类面部照片。这也导致人们进一步怀疑,这个登上众筹网站的项目和产品,“本身可能就不存在”。
当时就有网友打趣地评论到,“这算是给GAN的图像生成技术找了个绝佳的落地场景么?”
针对以REGIUM为代表的、由GAN引发的种种事件,我们必然需要再度反思技术带来的双面性,的确,大规模的虚假复制将对于平台、个人都将造成不同程度的伤害。
但我们仍需知道,看似作为罪魁祸首的GAN技术,仍然是一种通用的东西,而真正将此滥用的,正是我们人。
或许正是出于对现在以及未来GAN的逐渐“疯魔化”趋势,thispersondoesnotexist的创始人Phil Wang就表示,他想要在以后坚持真实的脸部图像,“人的脸对我们的认知最重要,因此我决定提出该特定的预训练模型”。
对此,你怎么看?欢迎在评论区留言讨论~