近日，谷歌 DeepMind 使用大型語言模型破解了純數學領域一個著名的懸而未決的問題。在發表在 Nature 雜誌上的一篇論文中，研究人員表示這是第一次使用大型語言模型來發現一個長期存在的科學難題的解決方案，即產生從未存在的可驗證且有價值的新信息。
「它不在訓練數據中，甚至不為人所知。」論文合著者、谷歌DeepMind研究副總裁普什梅特·科利（Pushmet Kohli）說。
大型語言模型以虛構內容而非提供新的事實而聞名。谷歌 DeepMind 的新工具 FunSearch 可能會改變這一現狀。這表明它們確實可以產生新發現，如果它們被特殊設計成這樣，並且你把它們提出的大部分無用內容都拋棄了。
之所以起了 FunSearch 這個名字，是因為它被用於搜索數學函數（Function），而不是因為它很有趣。FunSearch 延續了 DeepMind 使用人工智慧在基礎數學和計算機科學方面的一系列發現。
例如，AlphaTensor 找到了一種更高效的矩陣乘算法，打破了 50 年來的記錄。AlphaDev 找到了一種全新的數據排序算法，讓這種每天使用數萬億次的關鍵算法運行速度更快。
然而，這些工具並沒有使用大型語言模型。兩者都建立在 DeepMind 的遊戲人工智慧 AlphaZero 之上，通過將數學問題視為圍棋或西洋棋中的謎題來解決它們。
該公司研究 AlphaTensor 和 FunSearch 的研究員貝爾納迪諾·羅梅拉·帕雷德斯（Bernardino Romera Paredes）說，問題是他們被困在了自己的領域：「AlphaTensor 擅長矩陣乘法，但基本上不會其他東西。」
FunSearch 採取了不同的策略。它結合了一個名為 Codey 的大型語言模型，這是谷歌 PaLM 2 的一個微調版本，以及其他拒絕錯誤或無意義答案並重新給出正確答案的系統。
谷歌 DeepMind 的研究科學家阿爾海珊·法齊（Alhussein Fawzi）說：「老實說，我們雖然想好了假設，但我們不知道這到底為什麼有效。在項目開始時，我們根本不知道這是否可行。」
研究人員首先用 Python 列出了他們想要解決的問題的框架，但他們在程序中留白了如何解決問題的代碼，這就是 FunSearch 的用武之地。他們讓 Codey 來填補空白的地方，實際上就是讓它提出能夠解決問題的代碼。
然後，第二個算法檢查並為 Codey 得出的結果打分。即使還不正確，也會被保存並返回給 Codey，Codey 會再次嘗試完成該程序。
科利說：「許多建議是荒謬的，有些是可以接受的，還有一小部分很有啟發性。你拿著那些真正有啟發性的建議，然後告訴它說，『拿著這些，然後再重複一遍。』」
在花了幾天時間提出了幾百萬條建議並將整個過程重複了幾十次之後，FunSearch 終於想出了一套代碼，為「帽子集」問題提供了一個正確的、以前未知的解決方案（該問題涉及到找到某一類型集合的最大大小）。
想像一下在圖表紙上畫點，「帽子集」問題就像在試圖計算出你可以放下多少個點，同時保證其中三個點永遠不會形成一條直線。
它不是一個熱門問題，但很重要。數學家們甚至沒有就如何解決這個問題達成共識，更不用說解決方案是什麼了。它也與矩陣乘法有關，也就是 AlphaTensor 曾經做的工作。
菲爾茲獎獲得者、美國加州大學洛杉磯分校的陶哲軒（Terence Tao），在 2007 年的一篇博客文章中將這個問題稱為「也許是自己最喜歡的懸而未決的問題」。他對 FunSearch 的能力很感興趣，他說：「這是一個很有前途的範例。一種利用大型語言模型力量的有趣方式。」
與 AlphaTensor 相比，FunSearch 的一個重要優勢是，理論上它可被用於尋找廣泛問題的解決方案。這是因為它可以通過生成代碼的方式來找到解決方案的一部分（配方），而不是努力找到整個解決方案。
不同的代碼將解決不同的問題。FunSearch 的結果也更容易理解。法齊說，配方往往比它產生的奇怪的數學解決方案更清晰。
（來源：STEPHANIE ARNETT/MITTR）
為了測試它的多功能性，研究人員使用 FunSearch 來解決數學中的另一個難題：裝箱問題，即試圖將物品裝到儘可能少的箱子中。
這對於計算機科學的一系列應用非常重要，從數據中心管理到電子商務。FunSearch 同樣想出了一種比人類設計的更快的方法來解決這個問題。
陶哲軒說，數學家們「仍在努力找出將大型語言模型納入其研究工作流程的最佳方法，以利用它們的力量，同時規避它們的缺點。（但）這無疑展示了一條可能的前進道路。」
作者簡介：威爾·道格拉斯·海文（Will Douglas Heaven）是《麻省理工科技評論》人工智慧欄目的高級編輯，他在這裡報道新的研究、新興趨勢及其背後的人。此前，他是英國廣播公司（BBC）科技與地緣政治網站 Future Now 的創始編輯，也是 New Scientist 雜誌的首席技術編輯。他擁有英國倫敦帝國理工學院計算機科學博士學位，深諳與機器人合作的體驗。
支持：Ren