文生文、文生圖、文生視頻模型，端側模型、開源模型集體亮相2024世界人工智慧大會暨人工智慧全球治理高級別會議（簡稱「WAIC 2024」），展現大模型賦能千行百業的「模力」，人工智慧（AI）大模型落地應用無疑是今年大會的核心議題。
隨著生成式AI大模型在不同場景、不同產業中應用，模型產生與現實不符的響應（即「幻覺」，hallucination）也日趨普遍，深度偽造（Deepfake）也隨之興起，由此帶來的虛假內容泛濫風險，進一步滋生了詐騙、色情等違法犯罪活動，也讓人擔憂。
大模型幻覺問題已成為當下AI規模化應用的攔路虎，防範深度偽造也將是AI產業興盛不得不探討的話題。多位受訪行業專家指出，在實踐中可以通過引入知識圖譜、RAG（檢索增強生成，Retrieval-augmented Generation）、聯邦學習等新技術，解決大模型幻覺問題。而利用「黑盒」大模型、硬體或者光學輔助等多層次監管和治理，可以防控深度偽造的影響和危害。
大模型幻覺、深度偽造帶來風險
有一種聲音認為，大模型產生幻覺是不可避免的，越來越多的案例也表明大模型出現幻覺變得普遍。美國紐約市一名律師使用ChatGPT起草了一份包含虛假信息人身傷害案件的摘要而被法院罰款。史丹福大學和耶魯大學的研究人員在最近對三種流行的大語言模型（LLM）的研究預印本中發現，類似的錯誤在人工智慧生成的法律輸出中非常普遍。
幻覺是影響大模型落地的重要問題之一，引起了人們對人工智慧系統的可靠性和可信度的嚴重擔憂。螞蟻集團CTO（首席技術官）何征宇對記者表示，「生成式AI要實現更廣泛的應用，必須克服這一點。任何一項技術真正落地的過程中，可靠性都必須解決。一項技術如果不可靠，那麼只能是實驗室的產品，或是一個玩具、一個噱頭。今天的人工智慧90%的時間是可靠的，但是10%的時間是不可靠的，會說糊話、瞎話。如果不能克服，AI難以實現規模化的技術適用。」
幻覺之外，AI規模化應用的另一個挑戰是深度偽造帶來的風險。深度偽造指的是基於深度學習算法，從大量的視頻和圖像數據中學習，偽造出逼真的面部動畫和語音。隨著深度學習技術與AIGC（生成式人工智慧）在視頻和圖像生成領域的廣泛應用，當前生成視頻質量越來越貼近真實視頻且以更低成本普及。
深度偽造不僅增加了公眾識別視頻真偽的難度，也進一步滋生了詐騙、色情等違法犯罪活動的風險和隱患。國內外多份調研報告指出，近年來與AI相關的黑產活動明顯上升。根據身份驗證提供商Sumsub最新年度報告，2022年至2023年期間，全球多國與深度偽造相關的身份欺詐案件激增，例如菲律賓的詐騙企圖數量同比增長4500%。
據央視報道，僅在2022年，美國就發生了240萬起人工智慧相關詐騙案。此外，利用虛擬或合成身份盜用或註冊他人帳號騙取養老金、騙取人壽保險等潛在風險極大。
信也科技副總裁、大數據及AI負責人陳磊在接受記者專訪時表示，隨著大模型的應用，可能存在隱私泄露和輸出答案不正確的問題。具體到金融領域，對用戶信息保護和資質評估都會帶來挑戰。此外，大模型還被用在不合適的場景，比如深度偽造，隨著大模型生成能力不斷增強，生成出來的音視頻可以以假亂真，讓人難以辨別真偽。
以虛假語音為例，陳磊說，大模型能夠生成多種虛假語音，這些虛假語音更真實、擬人，對話流暢，為虛假語音識別帶來更大的挑戰。尤其在金融科技領域，犯罪分子可以通過合成語音冒用他人身份牟利，給用戶和機構造成巨額損失。目前語音鑒偽技術的發展滯後於語音合成技術。這是因為聲音是一維的連續信號，同時包含了口音、語調、方言等多種個人特徵信息，語音處理也易受外界干擾。虛假語音的分析處理比二維圖像更複雜、門檻更高，使得業界對語音鑒偽的關注度較低。
此外，小雨點集團首席技術官許慎在接受記者採訪時指出，現在大模型的應用行業主要集中在「會說會寫」的內容生成方面，金融行業需要大模型具備「會看會聽」的能力，這是我們應用大模型的主要發力領域。數據的安全、隱私的安全，是當前真正需要迫切去解決的問題。如果這些問題解決不好，會非常影響大模型和AI技術的使用規模。
用AI監督AI 加強協同治理
如何避免大模型出現幻覺，如何治理深度偽造問題？記者在今年大會現場找到了一些解決方案，螞蟻展台展示了「多模態AI鑒真」互動產品，該產品具有AIGC檢測和證照深度合成檢測兩大能力。觀眾可選擇證照、音頻、視頻等多樣化素材，該互動會先對這些素材做一番偽造模擬生成。之後，該產品能對上述偽造的素材快速進行精準鑑別，並形成檢測報告。
在「諜影重重」互動裝置前，觀眾還可用一場情景劇的方式打開深度偽造的攻防「魔盒」。首先，用戶在該裝置上傳一張照片，可通過AI換臉合成一張新的人臉照片。下一步，可使用合成後的照片甚至視頻去刷臉，該互動能夠鑑別出該照片或者視頻是否是AI合成，進而阻止風險行動。
「深度偽造的攻和防是一個相對且不斷精進的過程，你在進步，深度偽造也在進步，我們要做的就是跑在它的前面」。螞蟻展台工作人員告訴記者，在真實的生產場景，「蟻天鑒」AI鑒真解決方案支持多模態內容真實性和深度偽造檢測，防範深度合成技術濫用風險，圖像識別準確率達99.9%。
陳磊建議，首先，個人層面要謹慎分享個人照片、視頻等，減少被用於製作深度偽造內容的風險。其次，對重要信息通過多個渠道交叉驗證，不輕信單一來源。第三，技術層面看，有幾個層次，一是在調用開源模型時自動生成「AI生成」的標記；二是用「黑盒」大模型對抗AI深度偽造，建立異常回收和共治生態；三是通過硬體層面和流程機制實現識別和防控，現在在活體識別中有「炫彩」功能，利用硬體或者光學輔助來製造識別環境中的擾動因素，以此來判定是否是真實人臉。
至於大模型幻覺問題，何征宇認為，這是由於當下技術不夠成熟，技術是演進的，就像無人駕駛和新能源車的發展。隨著技術的發展，這些問題會逐步解決。大模型本質上是機率問題，在實踐中可以通過引入知識圖譜、RAG（檢索增強生成）等新技術，將輸入和輸出的知識框起來，可以解決大模型幻覺這類問題。
許慎指出，有關對待大模型應用中的幻覺問題，現階段一大思路是模型應用上要明確責任主體，責權一旦分清楚，相應的監管框架規範清晰以後，自然而然能緩解和控制幻覺出現的影響和風險。當然，在技術層面要儘可能降低大模型出現幻覺的可能，除了模型技術本身，這背後也與數據的質和量息息相關。只有數據的數量和質量達到一定水平後，用得越多，用得越深入，才能積累更多高質量的數據，從而逐步降低大模型出現幻覺的機率，形成良性正反饋循環。
「聯邦大模型技術路線通過其獨特的設計，不僅解決了數據時效性、模型幻覺、專業知識融合及算力資源消耗等挑戰，而且在保護數據隱私和促進AI技術公平性方面邁出了重要一步，為大模型在各領域的廣泛應用開闢了新的可能。」微眾銀行人工智慧首席科學家范力欣表示。
馬上消費人工智慧研究院院長陸全對記者表示，AI原生（AI Native）與風險伴生，技術發展和治理並非孤立存在的兩個方面，而是一個整體系統中的不同維度，覆蓋全生命周期。多智能體的AI治理路線提倡建立一個面向即時消費場景的治理框架，強調多智能體系統在AI治理中的重要性。這種框架支持不同智能體之間的協作與協調，實現更加高效和精準的AI治理。
陸全倡導構建一個開放的生態系統，鼓勵多方參與，包括政府、企業、學術界和公眾等，共同參與AI治理。這種新模式強調協同合作，通過共享資源和知識，實現更廣泛的AI治理目標。
記者/攝影：余繼超
編輯：姚惠
責任編輯：畢丹丹
—— / 好文推薦 / ——
- 拜登、特朗普首輪對決
- 新公司法施行，董責險能否再掀投保熱潮
- 收益超30%！公募「中考」成績單出爐
- 靠低價套裝、短劇營銷，韓束還能火多久？
- 首實探蘋果Vision Pro國內發售現場
- 小罐茶創始人道歉，天價茶葉並非「大師作」
點亮「在看」，你最好看！(*╯3╰)