一種新工具可以讓藝術家在他們的作品中添加不可見的像素變化，如果作品上傳到網上，並被抓取到人工智慧模型的訓練集中，它可能會導致最終模型以混亂和不可預測的方式崩潰。
這款名為 Nightshade 的工具旨在反擊人工智慧公司，這些公司在未經創作者許可的情況下使用他們的作品來訓練模型。
使用它來「毒害」這些訓練數據，可能會破壞圖像生成人工智慧模型未來的疊代，包括 DALL-E、Midjourney 和 Stable Diffusion 等知名工具，其破壞方式是將模型的輸出變得無用，例如將狗變成貓，汽車變成牛等等。《麻省理工科技評論》獲得了該研究的獨家預覽，該研究已提交給計算機安全會議 Usenix 進行同行評審。
OpenAI、Meta、谷歌、Stability AI 等人工智慧公司正面臨著藝術家的大量訴訟，他們聲稱自己的版權作品和個人信息在未經同意或補償的情況下被抓取。
美國芝加哥大學教授 Ben Zhao 領導了 Nightshade 的開發團隊，他表示，希望藉此來威懾不尊重藝術家版權和智慧財產權的行為，從而讓權力平衡從人工智慧公司轉向藝術家。Meta、谷歌、Stability AI 和 OpenAI 沒有回應《麻省理工科技評論》的置評請求。
Zhao 的團隊還開發了一款名為 Glaze 的工具，該工具允許藝術家「掩蓋」自己的個人風格，以防止被人工智慧公司抓取。
它的工作方式與 Nightshade 類似：通過以人眼看不見的微妙方式改變圖片的像素，再操縱機器學習模型將圖像里的東西解釋為錯誤的東西。
該團隊打算將 Nightshade 整合到 Glaze 中，讓藝術家可以選擇是否使用「數據中毒」工具。該團隊還將開源 Nightshade，這將允許其他人完善它並製作他們自己的版本。
Zhao 說，使用它並製作定製版本的人越多，這個工具就會變得越強大。大型人工智慧模型的數據集可能包含數十億張圖像，因此被收入模型的有毒圖像越多，該技術造成的損害就越大。
針對性攻擊
Nightshade 利用了生成式人工智慧模型中的一個安全漏洞，這個漏洞源於它們是在大量數據上進行訓練的（在這種情況下，是從網際網路上抓取的圖像），而 Nightshade 可以攪亂這些圖像。
（來源：STEPHANIE ARNETT/MITTR | REIJKSMUSEUM, ENVATO）
想要在網上上傳作品，但又不希望自己的圖像被人工智慧公司隨便收集的藝術家可以將作品上傳到 Glaze，並選擇用與自己不同的藝術風格進行掩蓋。
他們也可以選擇使用 Nightshade。一旦人工智慧開發人員從網際網路上獲取更多數據來調整現有的人工智慧模型或構建新的模型，這些有毒的樣本就會進入模型的數據集，並導致模型出錯。
有毒的數據樣本可以操縱模型的學習結果，例如，將帽子的圖像識別為蛋糕，將手袋的圖像視為烤麵包機。被污染的數據很難刪除，因為這需要科技公司大費周章地找到並刪除每個有毒的樣本。
研究人員在 Stable Diffusion 的最新模型和他們從頭開始訓練的人工智慧模型上測試了這種攻擊。當他們給 Stable Diffusion 軟體訓練了僅僅 50 張有毒的狗的照片，然後讓它自己畫狗的照片時，輸出的照片開始看起來很奇怪，變成了有太多肢體和卡通面孔的動物。
使用 300 個中毒樣本數據訓練後，攻擊者就可以操縱 Stable Diffusion，使狗的圖像看起來像貓。
（來源：COURTESY OF THE RESEARCHERS）
生成式人工智慧模型非常擅長在單詞之間建立聯繫，這有助於「毒素」的傳播。 Nightshade 不僅感染了「狗」這個詞，還感染了所有類似的概念，如「小狗」「哈士奇」和「狼」。
這種攻擊也可以作用於概念相關的圖像。例如，如果模型為提示「幻想藝術」抓取了一張有毒的圖片，那麼提示「龍」和「指環王中的城堡」也會被類似地操縱成其他東西。
（來源：COURTESY OF THE RESEARCHERS）
Zhao 承認，人們可能會惡意使用這種數據中毒技術。然而，他表示，攻擊者需要數千個有毒樣本才能對更大、更強的模型造成真正的損害，因為它們是在數十億個數據樣本上訓練的。
我們還不知道針對這些攻擊的強大防禦措施。美國康奈爾大學研究人工智慧模型安全的教授維塔利•什馬蒂科夫（Vitaly Shmatikov）表示：「我們還沒有在現實世界中看到針對現代（機器學習）模型的中毒攻擊，但這可能只是時間問題。」什馬蒂科夫補充道：「現在是時候加強防禦了。」
加拿大滑鐵盧大學研究數據隱私和人工智慧模型魯棒性的助理教授高塔姆·卡馬斯（Gautam Kamath）認為，這項工作「非常棒」。他沒有參與這項研究。
卡馬斯說，研究表明，這些新模型的漏洞「不會神奇地消失，實際上它們只會變得更加嚴重。隨著這些模型變得越來越強大，人們對它們的信任也越來越高，這一點將變得更嚴重，因為風險只會隨著時間的推移而增加。」
強大的威懾
美國哥倫比亞大學計算機科學教授 Junfeng Yang 主要研究深度學習系統的安全性，但他沒有參與這項工作。他表示，如果 Nightshade 能讓人工智慧公司更加尊重藝術家的權利，比如更願意支付版稅，那麼它可能會產生重大影響。
開發了生成式文本到圖像模型的人工智慧公司，如 Stability AI 和 OpenAI，已經提出讓藝術家選擇不提供他們的圖片來訓練未來版本的模型。
但藝術家們表示，這還不夠。插畫家兼藝術家伊娃·圖倫特（Eva Toorenent）使用過 Glaze，她說選擇退出政策要求藝術家跳過各種障礙，同時仍然把所有的權力留給科技公司。
圖倫特希望 Nightshade 能改變現狀。
她說：「這會讓人工智慧公司三思而後行，因為它們有可能在未經我們同意的情況下拿走我們的作品，但這會毀掉它們的整個模型。」
另一位藝術家奧特姆·貝芙利（Autumn Beverly）說，像 Nightshade 和 Glaze 這樣的工具給了她再次在網上發布作品的信心。在發現自己的作品在未經同意的情況下被抓取到流行的 LAION 圖像資料庫後，她選擇了將自己的作品從網上刪掉。
她說：「我真的很感激有這樣一個工具，可以幫助藝術家們把處置自己作品的權力交還給他們自己。」
作者簡介：梅麗莎·海基萊（Melissa Heikkilä）是《麻省理工科技評論》的資深記者，她著重報道人工智慧及其如何改變我們的社會。此前，她曾在 POLITICO 撰寫有關人工智慧政策和政治的文章。她還曾在《經濟學人》工作，並曾擔任新聞主播。
支持：Ren