適配更多國產晶片,智譜AI推出第三代基座大模型ChatGLM3

2023-10-28     DeepTech深科技

原標題:適配更多國產晶片,智譜AI推出第三代基座大模型ChatGLM3

2023年10月27日,智譜AI於2023中國計算機大會(CNCC)上,推出了全自研的第三代基座大模型ChatGLM3及相關係列產品,這也是智譜AI繼推出千億基座的對話模型ChatGLM和ChatGLM2之後的又一次重大突破。此次推出的ChatGLM3採用了獨創的多階段增強預訓練方法,使訓練更為充分。評測顯示,在44個中英文公開數據集測試中,ChatGLM3在國內同尺寸模型中排名首位。智譜AI CEO張鵬在現場做了新品發布,並實時演示了最新上線的產品功能。

ChatGLM3全新技術升級 更高性能更低成本

通過更豐富的訓練數據和更優的訓練方案,智譜AI推出的ChatGLM3性能更加強大。與ChatGLM2相比,MMLU提升36%、CEval提升33%、GSM8K提升179% 、BBH提升126%。

同時,ChatGLM3瞄向GPT-4V本次實現了若干全新功能的疊代升級,包括多模態理解能力的CogVLM-看圖識語義,在10餘個國際標準圖文評測數據集上取得SOTA;代碼增強模塊Code Interpreter根據用戶需求生成代碼並執行,自動完成數據分析、文件處理等複雜任務;網絡搜索增強WebGLM-接入搜索增強,能自動根據問題在網際網路上查找相關資料並在回答時提供參考相關文獻或文章連結。ChatGLM3的語義能力與邏輯能力得到了極大的增強。

ChatGLM3還集成了自研的AgentTuning技術,激活了模型智能體能力,尤其在智能規劃和執行方面,相比於ChatGLM2提升了1000% ;開啟了國產大模型原生支持工具調用、代碼執行、遊戲、資料庫操作、知識圖譜搜索與推理、作業系統等複雜場景。

此外,ChatGLM3本次推出可手機部署的端測模型ChatGLM3-1.5B和 ChatGLM3-3B,支持包括vivo、小米、三星在內的多款手機以及車載平台,甚至支持移動平台上CPU晶片的推理,速度可達20 tokens/s。精度方面1.5B和3B模型在公開benchmark上與ChatGLM2-6B模型性能接近。

基於最新的高效動態推理和顯存優化技術,ChatGLM3當前的推理框架在相同硬體、模型條件下,相較於目前最佳的開源實現,包括美國加州大學伯克利分校推出的 vLLM 以及Hugging Face TGI的最新版本,推理速度提升了2-3倍,推理成本降低一倍,每千tokens僅0.5分,成本最低。

新一代「智譜清言」上線 國內首推代碼交互能力

在全新升級的ChatGLM3賦能下,生成式AI助手智譜清言已成為國內首個具備代碼交互能力的大模型產品(Code Interpreter)。

「代碼」功能目前已支持圖像處理、數學計算、數據分析等使用場景。以下分別為:

  • 處理數據生成圖表;
  • 代碼繪製圖形;
  • 上傳SQL代碼分析。

隨著WebGLM大模型能力的加入,智譜清言也具有了搜索增強能力,可以幫助用戶整理出相關問題的網上文獻或文章連結,並直接給出答案。

此前已發布的CogVLM 模型則提高了智譜清言的中文圖文理解能力,取得了接近GPT-4V的圖片理解能力,它可以回答各種類型的視覺問題,並且可以完成複雜的目標檢測,並打上標籤,完成自動數據標註。

自2022年初,智譜AI推出的GLM系列模型已支持在昇騰、神威超算、海光DCU架構上進行大規模預訓練和推理。截至目前,智譜AI的產品已支持10餘種國產硬體生態,包括昇騰、神威超算、海光DCU、海飛科、沐曦曦雲、算能科技、天數智芯、寒武紀、摩爾線程、百度崑崙芯、靈汐科技、長城超雲等。通過與國產晶片企業的聯合創新,性能不斷優化,將有助於國產原生大模型與國產晶片早日登上國際舞台。

智譜AI此次推出的ChatGLM3及相關係列產品,全面提升了自身的模型性能,為業界打造了更開放的開源生態,並進一步降低了普通用戶使用AIGC產品的門檻。AI正在引領我們進入一個新的時代,大模型必將加速這一時刻的到來。

文章來源: https://twgreatdaily.com/zh-hk/287d70ec7323dfec6b42ec8c8c27fbb5.html