論，AI的胡說八道

喝多了最容易理解……丨Giphy

「您丫貴姓？」

一個普遍的共識是：「幻覺」來自（至少是這一代）大模型原理本身。

想像你有一個從未接受過中文學習的朋友，沒有人和資料為他解釋任何詞義和背景——哥們唯一認知中文的方法就是不藉助任何意義的生硬模仿和自我猜測。

有一天，閒得難受的你去挑戰這個哥們：請你用一句地道的老北京話來跟我打招呼問好。（是不是很像你平日裡調戲大模型聊天機器的嘴臉？）

於是，這哥們開始了認真的計算和思索：首先，老北京是吧，打招呼得用「您」開頭，客氣嘛；然後他開始滿腦子搜索遇到的胡同大爺語錄，既然不知道意義，就從「打招呼」這個場景下隨機找一個吧，在「吃了麼您內？」和「溜達去啊？」等等之中，他選擇了「貴姓」，簡短而有節奏感；這時候反過來再讀一遍，似乎差點什麼能加強語氣、顯得更自然的東西，那就在「您」後面潤色個「丫」吧，他謙卑又得意地想到，「我在大街上經常聽他們這麼說」，肯定地道！

再於是……

這個打挨得不冤丨Giphy

基本可以這麼粗暴地理解大模型生成自然語言的原理：按照被訓練數據集，權衡機率和各種場景（通常由你提問中擊中的提示詞來決定），一個接一個的猜字（沒錯，就是你看到的各種GPT對話框里一個一個蹦字的樣子），同步也會有一些交叉比對和優化——AI們並不真的「懂」文字背後的意義，它們只是模仿。

因此，「幻覺」就是這一代大模型不可分的一部分。被稱為「AI三巨頭」之一的Meta首席科學家Yann LeCun就曾說過「『幻覺』可能是大語言模型的固有特性……它們沒有真實世界的經歷，而這才正是語言的根基……」

換而言之，很多人會將「幻覺」與「創造性」當作當前大模型的一體雙面。

「大明白」們錯在了哪？

最著名的「大明白」，只不過人家是真明白丨Giphy

在一些關於大模型「幻覺」問題的論文當中，普遍會將「幻覺」劃分為「信息衝突（Intrinsic Hallucination）」和「無中生有（Extrinsic Hallucination）」兩類——根據騰訊混元大模型相關技術負責人的介紹：一種可以理解為「有源」，就是大模型輸出的東西和你輸入給他的信息不符；另一種可理解為「無源」，就是大模型編造了一些和事實不符、和現實世界不符的胡話。

這裡面，導致「大明白」養成的，主要集中在了訓練集裡的「數據清洗」，以及一個名為「對齊（Alignment）」的環節。

還是說回你那位不懂中文、剛被你一頓暴錘的朋友。他終於學會了中文，代價除了鼻青臉腫，還有多了個「信心爆棚」新毛病。他開始喜歡跟你用流利的中文吹虛自己的博學，各種知識信手拈來，你問他什麼他都懂，從二戰風雲到隋唐演義，從室溫超導到抗癌新藥……直到你發現，他的這些知識都來自於各種社交媒體短視頻和相親相愛一家群。

訓練數據很重要丨Giphy

這就是在原始數據集出了問題，修正辦法有兩種，一是讓他多看果殼，增大這部分靠譜信息來源的比例；二是同時降低他之前那些不良信息渠道的比重，並且「標註」或「清洗」掉其中可疑和完全不可信的成分。

相比數據清洗，「對齊」是一個更加寬泛的概念。你也許曾在很多「網際網路黑話詞典」中頻繁地看到過這個詞，但這裡的意義有所不同。騰訊混元的技術專家給出了一個更淺顯易懂的解釋：所謂「對齊」，就是讓大模型能夠理解人的指令，能夠和人的認知和需求對應起來，「對齊」就是這一系列技術動作的總稱。

「對齊」幾乎是目前大模型開發和調試中最決定成敗的一環。低質量的對齊，輕者會誕生越來越多「人工智障」段子；嚴重的，則會出現輸出的暴力、偏見、歧視，和失實。

你也許聽過一類無聊至極的相聲段子模板，叫「答非所問」：面對甲提的問題，乙必須給出一個毫不相干的答案，天上一腳地上一腳那種，比如「您貴庚？」「我吃的炸醬麵。」想像一下你那個剛學會中文的「大明白」朋友，要是他在學習中文時主要依靠這樣的段子來模仿，結果就是你不能說他中文不流利，但學成了一個「煩人精」。

人工智慧「對齊」的概念很早出現在科幻作品中丨Giphy

再舉個例子，阿西莫夫大名鼎鼎的「機器人三定律」，就是一種對齊。

喝多了，大家都一樣

還記得去年夏天，谷歌工程師Blake Lemoine宣稱LaMDA模型具有自我意識，和他掏心窩子談論宇宙人生的故事麼？

還有今年年初，紐約時報專欄作家Kevin Roose宣稱，微軟一款代號為Sydney的聊天機器人向他表白，並且企圖拆散他的婚姻。

珍愛生命，拒絕對著AI對話框「意淫」丨Giphy

這是「幻覺」的另一個重要成因——人為的引誘和誤導。

對於大模型，每一次的提問，可能都會成為一次引誘。這些AI產品以回答為目的，因此當資料庫中不存在「現成且確切」的答案時，它仍然無法抗拒人類的問題指令，而必須生成一則答案。當這種使命遇到了有意或無意「偏頗誘惑」時，那些胡說八道就應運而生了。「林黛玉倒拔垂楊柳」和「隧道上為何總建一座山」，都是此類。

這和你身邊的「大明白」心理活動一個意思：「既然你誠心發問了，我就大發慈悲地告訴你！」

想想這句台詞擁有者的悲慘命運丨Giphy

既然機器只是現實語言的模仿者，它並不知道自己的邊界，誘導性的提問就像酒精，讓它更迷糊，卻也更「想」侃侃而談了。有一個更簡單的例子，也許你看過一則曾經火爆的短視頻，一個中國幼兒正在接受父母的英語考察：

問：「爸爸怎麼說？」

答：「Father！」

問：「媽媽怎麼說？」

答：「Mother！」

問：「爺爺奶奶呢？姥姥呢？怎麼說？」

答：「爺ther！奶ther！姥姥ther！」

對於身為初級模仿者的孩子，前面正確答案的後綴，就稱為誘導出後面「幻覺」答案的線索了。

回到前面說的兩個認為自己與AI產生情感交流的案例，後來都被發現他們在與AI對話中，都有意或無意做了人為的強幹擾和誤導引誘——他們的話引發了AI的「幻覺」，而這種結果又讓人本身也跟著「幻覺」了起來。

但的確，都喝多的兩個人的確更容易擦出火花。

大家不要吵，我們和AI都傻丨Giphy

幻覺必須死麼？

首先是不可能，至少是這一代不可能。但是，去無限接近於「零幻覺」的每一次努力都彌足珍貴，也價值連城。

因為拋開那些哈哈一笑便置之腦後的段子，「幻覺」嚴重地限制了大模型在各個專業領域的應用，阻礙了各種「專家系統」的搭建和普及。如果人們對於每一則答案都要人為地二次確認，這將成為這場技術革命的災難。

如果去查一查今年的AI行業新聞，就會發現，對於「低幻覺」的追求幾乎伴隨著大模型火爆的全程。

從春到秋，OpenAI每隔一段時間就會發布一些降低幻覺的內容和新突破：優化數據源、引入人工干預和監督、增強外部知識檢索、增加模型透明度（似乎這點也只是說說），他們還公布過一種叫做「過程監督」的辦法，即在模型計算過程中，獎勵每一步正確的推理，從而保證結果的確切。

對於降低「幻覺」的努力從未停止丨Giphy

春末夏初，馬斯克也曾宣稱，自己的AI公司要搞一個TruthGPT——」一種誠實的語言模型，最大的求真人工智慧，能理解宇宙本質「。（當然，這誰都不說不好，是不是馬斯克本人的另一種幻覺）

秋季，騰訊混元大模型亮相，實現幻覺比例降低30%。根據介紹，這是使用了一種名為「探真」的技術，在預訓練階段就開始做干預，可以通俗地理解成動用了一種「分類器」，將模型內部推理過程中可能出現「幻覺」的「隱狀態」識別出來，並在過程中就實施干預。

而其他林林總總的各種國內外大模型，也幾乎都把「低幻覺」用作發布會和每一次版本更新上的字號最大的那頁PPT。

很多專業人士也都表示，也許，只是也許，下一代大模型才能夠在技術基礎層面實現「零幻覺」的可能，也許三五年，也許十年八年。

說到這你大概也能感受到了：「幻覺」這東西，真的一個奇妙的隱喻——無論是對於我們這個時代的人機關係，還是技術浪潮。它讓每一個技術人員抓破頭，卻也讓技術衝破壁壘，成為每一個普通人都躍躍欲試的飯後餐點。

幾乎每一部美劇喜劇中，都會出現一句台詞「No one like know-it-all」。對於我們這些普通使用者，有時候應付「幻覺」的方式也很簡單：嚴肅點，別瞎逗，它胡說的時候別把它當「人」——就像你對待身邊的那些惱人「大明白」一樣。

身邊這麼多「大明白」，也不差AI一個丨Giphy

一個AI

呸！誰也別說誰！

作者：睿悅

編輯：臥蟲

封面圖來源：Giphy

如有需要請聯繫sns@guokr.com