Flux、SD 等圖片生成模型遭「封禁」，但這次矽谷大廠不反對了！
整理 | 褚杏娟、核子可樂
「SB 1047 和 AB 3211 將會消滅加州的開源。」有網友評價道。
就在人們為 SB 1047 號法案而抓狂之時，另一項加州法案 AB 3211 已經悄然被遞交至立法機構，而且似乎即將獲得通過。（SB-1047 法案全稱「前沿 AI 模型安全創新法案」，旨在對投資超過 1 億美元的或具備一定計算能力的開發者建立安全準則，以保障大規模 AI 模型的安全性）
AB 3211 這項法案將產生更大的影響，因為它將使得任何尚未全面部署強大 AI 水印機制的 AI 圖像生成系統、服務、模型或者模型託管站點淪為非法實體，幾乎不可能在加州範圍內正常運營。此項法案要求通過此類水印系統嵌入非常具體、肉眼無法察覺且難以刪除的元數據，以將圖像標識為 AI 生成，同時提供關於圖像生成方式、時間及服務的其他信息。「元數據」是指有關數據的結構性或描述性信息。
壓力到底給到了誰？
"這項要求在技術層面嚴重缺乏可行性。想要在生成圖像文件（或者任何其他數字文件）時，向其中附加或者嵌入無法刪除的元數據幾乎沒有可能——之前遭遇失敗的 DRM 方案已經證明了這一點。"網友 Yenta Magenta 分析稱。
Magenta 表示，這項法案的要求其實可以輕鬆被簡單的螢幕二次截圖所破解，而且哪怕開發人員設計出了真正不可破解的水印，其落地要求恐怕也將遠遠超過大多數模型構建者，特別是開源社區的承受能力。該法案還要求全體模型創建者 / 提供者開展廣泛的對抗性測試，並開發及公開用於檢測其模型或系統生成內容的工具。雖然法案中的其他條款將被推遲至 2026 年執行，但前面提到的大部分主要條款都很可能將在法案通過後立即生效。
如果目前掌握的法案內容準確無誤，那就意味著市面上幾乎全部現有 Stable Diffusion 模型、微調及 LoRA 在加州都將被定義為非法。而 CivitAI、Hugging Face 等網站則有義務過濾加州居民生成的內容，甚至一刀切阻止這部分用戶的訪問。（考慮到篩查的成本太高，一刀切阻止恐怕會成為大機率事件。）
在水印要求方面，法案似乎也沒有列舉任何涉及技術可行性的例外條款。Magenta 表示，鑒於法案所要求的高度具體且可靠的技術尚不存在，甚至可能永遠不會出現（特別是在開源技術領域），至少就目前來講，該項法案實際上是一紙針對加州 AI 圖像生成業務的全面禁令。由此引發的訴訟糾紛也將只是時間問題。
前微軟工程師 Jacob Miller 就表示，"加州的 AB 3211 法案旨在要求圖片中的元數據區分 AI 生成圖片和「真實」圖片，並要求平台披露是否真實。我認為無法創建一種萬無一失的方法來追蹤這一點。感覺它最終產生的問題會比它解決的問題更多。不可避免地，會有一種生成具有元數據圖像的方法，這些元數據被認為是真實的，此時平台聲明『這是一張真實的圖片』會比根本沒有免責聲明更糟糕。我認為這是一件意圖是好的、但現實卻是加劇問題而不是提供幫助的事情。「
根據 TechCrunch 報道，微軟、OpenAI 和 Adobe 目前都對這項措施表示支持。「這幾乎肯定是因為他們意識到沒有任何開源圖像生成模型或者服務能夠滿足技術要求，所以這項法案反而成為幫助他們打擊開源競爭對手的有力武器。這可能意味著加州一切開源 AI 圖像模型都將宣告終結，甚至更多想在加州從事這項業務的公司也將被一體叫停。換句話說，這項法案很可能成為我們迄今為止在 AI 技術領域見證過的，最大的監管 / 壓制性威脅。」Magenta 分析稱。
目前尚不清楚該法案的擬定者（或者可能修改法案條款的三個階段 ）是否具備相關技術背景，以理解法案內容的矯枉過正與無法實現。如果他們確實具備這樣的專業知識，那麼從結果上看，此項法案的設計本身就是要出台一項隱性的全面禁令。
此外，該項法案將禁止銷售任何未採用圖像認證系統的新型靜態或視頻相機。但從條款上看情況似乎還有餘地，畢竟相關規定還要過幾年才會生效，而且只適用於「新製造」的設備。但「新製造」的定義仍含糊不清，意味著想要在法律生效後購買此前生產的舊機型以節約成本的買家，其行為很可能在加州被定義為非法。另外，考慮到手機也屬於錄製設備，這甚至會嚴重限制加州居民合法購買智慧型手機。
該法案還將對一切在加州擁有 200 萬或者更多用戶的大型在線社交媒體平台設定嚴格要求，包括檢查其元數據以裁定哪些圖像屬於 AI 生成，並要求這些平台明確將其標註出來。任何無法確認為非 AI 生成的圖像則應被標記為來源不明。
鑒於加州對於社交媒體平台的定義較為寬泛，因此從 Facebook 到 Reddit，甚至 WordPress 乃至其他擁有活躍評論區的網站和服務都有可能被劃入管控範疇。「毫無疑問，這將成為一場席捲技術與言論自由的監管噩夢。」
「這個法案是一份瘋狂的願望清單——最重要的是，它要求平台解決許多項目正在嘗試解決的版本控制和出處問題。這是一個難題！加州正努力為世界樹立糟糕的人工智慧監管榜樣。」網友 Himanshu Tyagi 評價道。
此項法案已經在加州議會以 62：0 票（80 名議員）的比例初步獲得一致通過，目前來看法案很可能會以某種形式在加州參議院獲得通過。但州長加文·紐森（Gavin Newsom）是否願意簽署這項嚴厲、侵犯隱私且具有巨大潛在破壞性的立法仍有待觀察。
另外，不清楚這項法案應如何通過憲法審查，畢竟其條款似乎過於寬泛、缺乏技術可行性，同時也憲法第一修正案約定的權利有所衝突，甚至可以說代表著一種強制性的言論管控形式。但令人意外的是，電子前沿基金會（EFF）和美國公民自由協會（ACLU）似乎都沒有對這項法案發表意見，至少從 2024 年 6 月加州參議院司法委員會的分析結果來看是如此。
此消息一出，已經有企業開始宣傳自己加的產品了：Digimarc 水印技術以無與倫比的準確性、速度和規模識別和驗證實體和數字資產，以應對當今複雜挑戰。
對此，有網友嘲諷道：「是在藍紅綠通道上進行簡單的圖案注入，就像 1995 年那樣嗎？」
爭議頗大的 SB 1047
如前文提及到的，加州議會及參議院已經通過《前沿 AI 模型安全創新法案（SB 1047）》，這也是美國首批重要的 AI 法規之一。
該法案一直是矽谷及其他地區的爭論焦點，其要求在加州運營的 AI 企業在訓練複雜的基礎模型之前，必須實施一系列預防措施。具體包括能夠快速完全關閉模型，確保模型免受「不安全的訓練後篡改」，並部署測試程序以評估模型或其衍生版本是否容易「造成或被用於實施嚴重危害」。
SB 1047 的規則適用於世界上的大型 AI 模型：成本至少為 1 億美元，並且在訓練期間使用 10^26 FLOPS；或者是利用不少於 10^25 次整數或浮點運算三倍的計算能力，對範圍內的模型進行微調而創建的人工智慧模型。
對於開源模型及其衍生產品，該法案規定原始開發者應承擔責任，除非另一位開發者再花費 1000 萬美元創建原始模型的衍生產品。
加州則會成立新的機構——Frontier Models 委員會負責監督，該委員會將由 9 名成員管理，包括來自 AI 行業、開源社區和學術界的代表，由加州州長和立法機構任命。
該法案的主要作者、參議員斯科特·維納 (Scott Wiener) 表示，SB 1047 是一項非常合理的法案，條款只是要求各大 AI 實驗室做他們已經承諾要做的事情：測試自己的大模型是否存在災難性的安全風險。「我們與各開源倡導者、Anthropic 公司以及其他組織共同努力，在過去整整一年間不斷完善並改進該項法案。SB 1047 很好地反映了我們對於可預見 AI 風險的了解，應當頒布落地。」
被稱為「人工智慧教父」的人工智慧研究人員 Geoffrey Hinton 和 Yoshua Bengio 都支持這項法案，但還有很多人反對：李飛飛認為，該法案將「損害我們剛剛起步的人工智慧生態系統」；吳恩達認為，稱該法案是「對開源的攻擊」，開源模型可能會給其創建者帶來額外的風險，因為像任何開放軟體一樣，它們更容易被修改並部署到任意和潛在的惡意目的；楊立坤則表示，SB 1047 將損害研究工作，並且是基於「少數妄想智囊團推動的『生存風險』幻覺」
另外，越來越多的矽穀人士反對 SB 1047 法案，包括 OpenAI、Anthropic、政客 Zoe Lofgren 與 Nancy Pelosi 以及加州商會在內。8 月底，OpenAI 發布了一封公開信反對 SB 1047 法案。代表谷歌、蘋果、亞馬遜和其他大型科技巨頭的貿易組織進步商會 ( Chamber of Progress ) 也發表公開信反對該法案，稱 SB 1047 限制自由並「將科技創新趕出了加州」。
各方認為，這項法案總體過度關注災難性危害，有可能會擠壓小型開源 AI 開發組織的生存空間。作為回應，該法案也做出了修訂，將潛在的刑事處罰更換為民事處罰，縮小了授予加州總檢察長的執法權力，同時調整了加入法案中建議設立的「前沿模型委員會」的准入門檻。
根據《紐約時報》報道，這項 AI 安全法案即將被提交至加州州長加文·紐森處，由他在 9 月底之前決定其能否通過。
結束語
看得出來，加州立法機構在 AI 監管立法方面動作頻繁，但是連出的兩個「大招」反對聲音都比較大。如何更好地對新技術進行有效監管，也是擺在大家面前的一個新命題。
參考連結：
https://www.reddit.com/r/ArtificialInteligence/comments/1f5eqfb/california_bill_set_to_ban_civitai_huggingface/
https://www.theverge.com/2024/8/28/24229068/california-sb-1047-ai-safety-bill-passed-state-assembly-governor-newsom-signature
https://techcrunch.com/2024/08/30/california-ai-bill-sb-1047-aims-to-prevent-ai-disasters-but-silicon-valley-warns-it-will-cause-one/
剝離幾百萬行代碼，複製核心算法去美國？TikTok 最新回應來了
「制霸」矽谷的印度 CEO，慘遭「大清洗」？
C 語言老將從中作梗，Rust for Linux 項目內訌升級！核心維護者憤然離職：不受尊重、熱情被消耗光
上6休3上3休2...AI大模型集體「翻車」，今年調休安排究竟有多燒腦？曝國產GPU獨角獸全員被裁；阿里完成三年整改 | Q資訊