作者 | 高衛華
出品 | AI科技大本營
隨著深度學習的發展，GAN模型在圖像風格轉換的應用越來越多，其中不少都實現了很好的效果。
此前，reddit上的一個技術博主AtreveteTeTe基於GAN模型混合將普通的人像照片卡通化，並通過First Order Motion模型生成了動畫，引起諸多網友的熱捧。像這類卡通風格的畫像生成，通常對單元素的質量要求不高，對於模型的訓練，會忽略一些細節上的不足。
不過，最近一個開發者在GitHub上放出了一個可用於創建線條藝術肖像的項目，基於深度學習開發了ArtLine，其創建的線條肖像畫在細節上的呈現效果驚人。
項目連結：
https://github.com/vijishmadhavan/ArtLine
ArtLine最簡單的入門方法：
https://colab.research.google.com/github/vijishmadhavan/Light-Up/blob/master/ArtLine(Try_it_on_Colab).ipynb
藝術肖像線條畫方面，去年清華大學曾提出一個層次化的GAN模型APDrawingGAN ，可以有效地基於人臉照片生成高質量、富有表現力的線條畫。
APDrawing數據集主要由特寫肖像組成，該模型難以對衣服、手等進行重新著色。因此，ArtLine結合使用了從Anime sketch著色對數據集中選擇的圖像，幫助模型更好地了解線條細節。
這是使用ArtLine即時創建的電影海報。
技術實現
自注意力的GNN
ArtLine採用Self-Attention Generative Adversarial Network（簡稱SAGAN）生成器，該模型是經過預訓練的UNET，具有頻譜歸一化和自我注意功能，可為圖像生成任務提供注意力驅動的遠程依賴關係建模。
傳統的卷積GAN，根據低解析度特徵圖中空間局部點的函數來生成高解析度的細節。而在SAGAN中，可以使用來自所有要素位置的提示來生成細節。並且，鑑別器可以檢查圖像部分中的詳細特徵是否一致。
此外，據最近的研究表明，生成器調節會影響GAN的性能。為此，將頻譜歸一化應用於GAN生成器，以改善訓練動態。
SAGAN實現了最先進的效果，在具有挑戰性的ImageNet數據集上，將已發布的Inception分數從36.8提高到52.52，並將Frechet Inception距離從27.62降低到18.65。據注意層的可視化顯示，生成器利用了與對象形狀相對應的鄰域，而不是固定形狀的局部區域。
GAN逐步提高質量、穩定性和多樣性
ArtLine使用生成對抗網絡的新訓練方法，關鍵思想是從低解析度開始添加新層，逐漸增加生成器和鑑別器，以隨著訓練的進行對越來越細的細節建模。這既加快了訓練速度，又極大地提高了生成圖像的質量。
訓練中，ArtLine採用一種用於評估圖像質量和變化等GAN結果的新指標，並構建了CelebA數據集更高質量的版本。
生成器損失：基於VGG16的感知損失/特徵損失。
進行高質量圖像的轉換時，通常使用輸出圖像與真實圖像之間的每像素損失來訓練前饋卷積神經網絡。而研究表明，高質量圖像也可通過從預訓練網絡提取高級特徵，定義和優化感知損失函數來生成。
結合這兩種方法的優勢，ArtLine使用感知損失函數來訓練用於圖像轉換任務的前饋網絡。與基於優化的方法相比，ArtLine可給出相似質量的圖像轉換結果，但其生成速度快了三個數量級。對於單圖像超解析度的方法，實驗表明將每像素損失替換為感知損失，視覺上會更令人愉悅。
目前，ArtLine在圖像生成時也存在一些問題，如其生成器會將照片陰影與頭髮混淆；另外，對於低於500像素的低質量圖像，ArtLine的圖像轉換效果不佳。
論文連結：
https://arxiv.org/abs/1805.08318
https://arxiv.org/abs/1710.10196
https://arxiv.org/pdf/1603.08155.pdf