0月23日，在由復旦大學管理學院、興證全球基金和興銀理財聯合舉辦的「復旦管院·興動ESG大講堂」上，復旦大學計算機科學技術學院教授、上海市智能信息處理重點實驗室副主任張奇分享了他對大語言模型的能力邊界與發展的思考。「儘管大語言模型在過去兩年取得了顯著進展，但其在實際應用中仍面臨諸多挑戰。」他說。
上證報中國證券網訊（記者 聶林浩）大語言模型一經問世便受到全世界的廣泛關注，越來越多的應用場景也在逐漸落地。如今，大語言模型已發展到哪個程度？
10月23日，在由復旦大學管理學院、興證全球基金和興銀理財聯合舉辦的「復旦管院·興動ESG大講堂」上，復旦大學計算機科學技術學院教授、上海市智能信息處理重點實驗室副主任張奇分享了他對大語言模型的能力邊界與發展的思考。「儘管大語言模型在過去兩年取得了顯著進展，但其在實際應用中仍面臨諸多挑戰。」他說。
「2022年10月，大語言模型開始嶄露頭角，到了2023年，它們似乎無所不能，從替代醫生到編寫代碼，再到完成複雜的任務。然而，當我們嘗試用這些模型解決實際問題時，卻發現與預期總是差那麼一點距離。」張奇說，隨著GPT-o1模型的問世，人們再次對其寄予厚望，然而經過測試，其呈現的結果仍然存在一定局限性。
「要理解大語言模型的潛力，首先需要回歸到其基礎理論。」張奇解釋，以ChatGPT為例，其核心任務始終是生成一個「合理的延續」，即根據已有的文本，生成符合人類書寫習慣的下一個合理內容。所謂「合理」，是指根據數十億個網頁、數字化書籍等人類撰寫內容的統計規律，推測接下來可能出現的內容。
張奇表示，大語言模型的訓練可分為三個階段：第一階段是知識的壓縮和表示，第二階段是賦予其能力和執行任務，第三階段是與人類對齊，提升生成任務的能力。每個階段均要經過精心的訓練和設計，並需要大量的數據輸入，使大模型記住相關領域的知識。
談及當前大語言模型的能力邊界，張奇表示，目前大語言模型在長上下文建模、多任務學習、跨語言遷移性及文本生成能力上已經有出色的表現，但它們是否真正理解內容並進行核心應用，仍然是一個問號。
「真正的AGI（通用人工智慧）系統需要具備理解物理世界、擁有長久準確記憶、可以推理及分層次規劃的能力。」他說，未來大語言模型的發展有兩條路徑，一是代替人類完成所有腦力勞動，具有自我學習、自我進化能力；二是專注於代替人類特定的任務。無論選擇哪條路，都需要對模型的能力邊界有清晰的認識。要實現真正的通用人工智慧，還有很長的路要走。