GLM-4-9B來了,智譜AI給小模型注入了大能量

2024-06-05     雷科技

國產大模型選手智譜AI,近日又有了新動作。官方最新消息,第四代GLM系列開源模型GLM-4-9B正式推出。

首先有必要簡單解釋下,在談及大模型的概念時,會通過參數指標來進行區分。參數在10B(100億)以下的,通常會被歸類為小模型。因此,智譜AI現在發布的GLM-4-9B,也可以被歸類到小模型的範疇中。

雖說是小模型,但GLM-4-9B的實力並不弱。根據官方介紹,在預訓練時,GLM-4-9B獲得了10T高質量多語言數據,是ChatGLM3-6B模型的三倍多。智譜AI認為,6B規模的模型性能有限,因此將其擴充至9B。

(圖源:智譜)

據了解,GLM-4-9B各方面的能力都有顯著升級,包括多語言、多模態、推理性能等方面。像GLM-4-9B的上下文處理從128K增加到了1M tokens,能夠同時處理200萬字的文本,約等於兩部紅樓夢。

GLM-4-9B還支持多達26種語言,包括漢語、英語、俄語、西班牙語、德語、法語、義大利語、葡萄牙語等等。這意味著,GLM-4-9B可以在全球範圍內找尋到更為廣闊的用戶群體,滿足不同語種用戶的模型使用需求。

GLM-4-9B系列模型還細分出了多個版本,包括基礎版GLM-4-9B(8K)、對話版 GLM-4-9B-Chat(128K)、超長上下文版GLM-4-9B-Chat-1M(1M)和多模態版 GLM-4V-9B-Chat(8K)。它們能夠適用於不同場景,滿足各自細分領域的具體需求。

另外,GLM-4-9B的函數調用能力有巨大升級,相比上一代提升了40%,在部分測試項目中,它的Function Call能力已經追上了GPT-4。

(圖源:智譜)

部分人可能會好奇,既然市面上已經有大參數的大模型,為什麼智譜AI這樣的模型玩家,還要持續疊代更新小模型產品?

理論上來說,模型參數越大,能力上限自然更高。但是,參數過大,也會帶來成本增長的問題。對市場、對用戶來說,更想通過低成本獲得高性能。因此,片面通過參數增長來提升模型性能,是一種比較粗放且不可持續的做法。

當前的大模型行業中,以智譜為代表的玩家們,執行的技術路線逐漸不再片面強調參數量,而是更加著重強調模型本身所具備的實際能力。說白了,就是它們能夠用戶帶來什麼實用的價值。

而此次發布的GLM-4-9B,一大亮點就是在10B參數規模以下實現了各項能力的大幅提升。在更加具體的模型產品上,GLM-4-9B也呈現出了較明顯的價格優勢,比如GLM-4-Flash綜合能力提升了40%,但價格低至0.06元/M Tokens,堪稱最能打的小模型。

GLM-4-9B的到來,也將給競品們更大的壓力,在小模型市場上,如何提升訓練數據的質量,如何提升基礎能力和控制成本,都將成為AI玩家們需要解決的問題。

文章來源: https://twgreatdaily.com/zh-hk/bf69f34f8aeab34748fa24ecf9ad70da.html