夢晨 發自 凹非寺
量子位 | 公眾號 QbitAI
什麼？這些不是真人照片，都是AI畫出來的？！
最近這樣一組美女圖片刷屏了，許多人看到第一反應都是「AI逼真到這個份上了？」。
直到看到手部露出了破綻，才敢確定確實是AI畫的。
原來在ChatGPT的光芒掩蓋一切的這段時間，圖像生成AI已經從從畫畫悄悄進化到了「畫照片」。
這種風格和質量的AI照片，還有很多在各大網絡社區流傳，國內貼吧、微博、NGA，國外推特、油管，到處都是。
有網友表示：AI聊天+AI照片，快進到AI網戀詐騙。
而Cosplay風格的AI照片也讓一些人感嘆「商業Coser和攝影師可能雙雙下崗」。
根據各帖子發布者透露，這些AI照片都出自同一個模型， Chilloutmix。
多個模型融合進化，照片級AI誕生
ChilloutMix，二月初出現在模型分享社區 CivitAI（不少愛好者稱之為c站）。
不到兩周時間，下載數量超過5萬。
簡單來說，這個模型還是基於大家熟悉的Stable Diffusion，1.5版本，但是由許多衍生模型合併 （Merge）而來。
主要組件包括兩大模型，首先是 Basilmix，專攻逼真的紋理和亞洲臉型。
但這個模型主要還是擅長半寫實的「2.5D風格」。
接下來合併了用照片集數據優化的Dreamlike的衍生模型，讓最終生成結果更接近3D寫實風格。
除了兩個主要模型之外，作者還添加了一些小的Embeddings（相當於給AI模型打補丁）。
比如第一個Pure Eros Face，提供的.pt文件只有3.92KB，可以合併到任何基於SD1.5的模型，專門負責生成「純欲系面孔」。
所有這些模型和Embeddings，各自擅長不同的地方，如一種畫風、一種紋理、人物臉型甚至姿勢。
Merge在一起後，可通過不同提示詞調用它們的能力，一般原作者都會附上使用指南。
除了ChilloutMix之外，文章開頭的那組圖片之所以能固定生成同一張面孔，還使用了另一項技術 LoRA。
LoRA本來是微軟研究團隊早在2021年提出的一項大語言模型微調的技術，可以大大提高微調訓練速度。
去年底，韓國科學技術院KAIST一位研究員@cloneofsimo與HuggingFace合作，將此方法擴展到Stable Diffusion上。
不僅實現了單塊11GB顯存的RTX2080Ti實現模型完整微調，同時原始模型權重凍結，新訓練出來的權重可以保存為3MB大小的單個文件發布。
這項技術被AI繪畫愛好者用來讓模型固定生成一個物體，最流行的就是固定一個人物形象。
現在，在CivitAI社區里，每個微調好的權重就叫做一個Lora，就相當於一個人物模版，所有人都可以方便下載使用。
如開頭的那組圖片就是來自叫「Korean Doll Likeness」的Lora，目前下載量排名第一。
對於ChilloutMix+LoRA這樣的技術，作者也意識到了可能被濫用的風險，並著重提示了法律風險，特彆強調不要用於真實存在的人物。
為什麼AI還是不會畫手？
對於這個問題，最近也有了研究進展。
Stability AI 發言人表示，在AI數據集中，手的圖像不夠顯著，「在源圖像中，手（比面部部分等）要小得多。」
佛羅里達大學AI和藝術副教授Amelia Winger-Bearskin解釋說，AI基於從網際網路上收集的數十億張圖像進行訓練，它並不能真正理解「手」是什麼，至少不理解解剖學意義上手和人體的關聯。
在用來訓練生成AI的圖像中，手通常會抓住一些東西，或者另一隻手。如此一來，手指的情況就不容易辨清。
如果所有的訓練圖像中，手都是五指張開，AI就能夠畫出正常的手。
ChilloutMix：
https://civitai.com/models/6424/chilloutmix
參考連結：
[1] https://huggingface.co/blog/lora
盤點 | 帶你了解常見的十種數據相關職位
作為文科生，我是如何轉行數據挖掘工程師的 | 附電信用戶實戰案例
實例 | 分析38萬條數據，分析保險行業中的數據應用
從基礎到進階，掌握這些數據分析技能需要多長時間？
在四大會計師事務所，當數據分析師是怎樣一種體驗 | CDA持證人專訪