國產大模型，逼近GPT-4｜甲子光年

智譜AI是國內「百模大戰」中估值最高的明星大模型公司之一。2023年10月，智譜AI宣布完成超25億人民幣融資，投資方匯聚了國內一線明星機構，包括社保基金中關村自主創新基金（君聯資本為基金管理人）、美團、螞蟻、阿里、騰訊、小米、金山、順為、Boss直聘、好未來、紅杉、高瓴等。

在絕大多數人眼中，2023年是大模型元年，ChatGPT打響了「百模大戰」的發令槍；但在張鵬看來，大模型的元年要追溯到2020年，這一年OpenAI發布了ChatGPT的「前身」GPT-3，剛成立一年的智譜AI開始全力投入大模型的研發。

提前3年的「搶跑」，讓智譜AI有更多的技術儲備。今天智譜AI在Hugging Face上的下載量超過1100萬次，位居全球最受歡迎開源機構第五名，也是國內唯一上榜的公司；其對話模型ChatGLM在GitHub上獲得了5萬+顆星，超過Llama。

在2023年初，智譜AI設立了一個雄心勃勃的目標：用一年的時間追平OpenAI最先進的模型。

現在，這位大模型的優等生交卷了。

1.產學研結合，科學家創業

在介紹GLM-4的技術升級之前，首先回顧一下智譜AI的成立過程，這是一家典型的科學家創業的公司。

智譜AI的前身，是在2006年誕生於清華大學計算機系知識工程實驗室（KEG）的明星產品AMiner——學術搜索與情報挖掘平台。清華大學教授、KEG主任唐傑，是AMiner的核心創立者之一。

2013年，AMiner平台的商業化應用提上日程。2019年，在國家相關政策的鼓勵與支持下，清華大學教授李涓子、唐傑等人依託AMine為基礎，共同成立智譜AI，致力於打造可解釋、魯棒、安全可靠、具有推理能力的新一代認知引擎的公司。

清華大學計算機系教授、中國科學院院士張鈸擔任智譜AI首席顧問。智譜AI CEO張鵬，是國內首個中英文平衡的跨語言知識圖譜系統XLORE的設計和研發者。

在智譜AI成立的第一天，公司寫下了「讓機器像人一樣思考」的願景。

2020年6月，智譜AI一周年司慶日，恰好撞上了OpenAI發布GPT-3。當天，張鵬與受邀參加智譜AI座談的張鈸院士深入討論了GPT-3的技術前景。GPT-3讓張鵬隱隱意識到，大模型確實是未來的方向。張鵬說：「OpenAI做的這個事情，也是我們一直期待去做的，一定追尋去做的，更是一定要去做的。」

同一年，智譜AI把OpenAI作為自己的對標對象，全力進行大模型的研發。

當時業內主流的預訓練算法框架有三個：GPT、BERT與T5。智譜AI沒有選擇既有算法框架，而是選擇了自研。2021年，智譜AI團隊聯合清華大學提出了GLM（General Language Model）算法框架，結合了GPT與BERT兩者的特點，既能從前文預測後文，也能從後文猜測前文。

智譜AI團隊參與了智源研究院主導的「悟道」大模型項目。悟道團隊先是訓練出一個百億參數的稠密模型，然後又通過「稀疏化」方法訓練出一個1.75萬億稀疏模型。這個萬億大模型最終用硬碟拷下來的文件大小約為20T，需要超過500張A100才能做推理，成本太高且性能並不好。

經過幾輪激烈的爭論，智譜AI團隊最終決定自己訓練一個千億參數的稠密模型，直接對標1750億參數的GPT-3。

最大的挑戰是高昂的訓練成本。智譜AI團隊算了一筆帳，要訓練一個千億參數大模型，需要至少1000張A100不出錯地連續跑兩個月。而當時整個智源研究院，也只有480張A100。

智譜AI找到了濟南超算中心。濟南超算在2020年採購了一批A100，原本計劃將算力提供給視頻遊戲公司，但因為市場變化，這批晶片當時處於閒置狀態。

於是，智譜AI租用了1000張A100，並從底層運算元重構，投入20多人訓練了8個月，終於在2022年7月訓練出了千億大模型——GLM-130B，並將其開源。

在訓練過程中，智譜AI遇到了很多挑戰，預訓練一個高精度的千億模型與訓練百億模型完全不同。張鵬告訴「甲子光年」，從訓練百億模型到千億模型，難度絕不止線性地增長10倍，挑戰包括頻繁的隨機硬體故障、模型梯度爆炸、算法中意外的過多內存使用、新的 Megatron 和 DeepSpeed 框架中 3D 流水線的調試、無法從優化器狀態中恢復、機器間TCP擁塞，以及許多許多意外的 「bug」。但最終這些問題都被一一攻克。

2022年11月，史丹福大學大模型中心對全球30個主流大模型進行了全方位的評測，GLM-130B是亞洲唯一入選的大模型。

在推出GLM-130B的基座模型之後，智譜AI又先後在應用層推出了AIGC模型及產品矩陣，包括生成式AI 提效助手「智譜清言」、高效率代碼模型CodeGeeX等。

圖片來自智譜AI CEO張鵬演講PPT

從產品矩陣來看，智譜AI成了國內最像OpenAI的大模型公司。智譜AI也在2023年初定下了目標：用一年的時間，追平OpenAI最先進的模型，也就是後來發布的GPT-4。

2.逼近GPT-4

今天的技術開放日，智譜AI正式發布了新一代基座大模型GLM-4，這是智譜AI的交卷時刻。張鵬表示，GLM-4，已經超過GPT-3.5，整體逼近GPT-4。

GLM-4帶來了5項重大升級，首先是基礎能力的全面提升。

在權威的英文測試榜單中，GLM-4已經整體逼近GPT-4，平均能達到GPT-4 90%以上的水平，在個別項目上表現持平；而在國內企業更加看重的中文任務上，GLM-4的表現全面超過GPT-4。

圖片來自智譜AI CEO張鵬演講PPT

第二項更新是更長的上下文窗口。

GLM-4將上下文從32K擴展到128K，與GPT-4 Turbo相當，單詞提示詞文本達到300頁；同時不丟失精度，在被稱為「大海撈針」的Needle test中幾乎100%召回。

第三項更新是多模態能力，文生圖與多模態能力都得到增強。

張鵬表示，CogView的文生圖能力明顯強於開源的Stable Diffusion XL模型，逼近OpenAI的DALL-E3，在對齊、保真、安全、組合布局等維度上達到DALL-E3 90%的水平。

圖片來自智譜AI CEO張鵬演講PPT

第四項能力更新，則是把以上單點的能力進行「All in One」，推出GLM-4 All Tools工具。具體包括：

• 結合上下文語境進行AI繪畫創作；
• 自動調用代碼解釋器進行複雜的方程或微積分求解；
• 實現文件處理、數據分析、圖表繪製等複雜任務，支持Excel、PDF、PPT等文件；
• 模型自行規劃檢索任務；自行選擇信息源；自行與信息源交互；
• 根據用戶提供的function描述，自動選擇所需function並生成參數，以及根據function的返回值生成回復；

• 多工具自動調用,網頁瀏監準確率超過 GPT-4。

多工具自動調用,網頁瀏監準確率超過 GPT-4。

智譜AI在現場演示了文生圖的能力，不過在最後一輪交互中出現了失誤，智譜清言遲遲沒有給出回復。有網友打趣道：「這是真唱，有實力也有失誤。」

最後一項更新，則是對標OpenAI在上周剛剛正式發布的GPTs商店，推出GLMs個性化智能體功能，以及GLMs商店——智能體中心。

智譜清言的GLMs商店介面

就像一個不懂任何代碼的用戶，僅憑藉自然語言交互就能「傻瓜式」構建GPTs一樣，智譜AI也支持用簡單的提示詞指令創建屬於自己的GLMs，並上架智能體中心。張鵬在現場宣布，GLMs的模型應用商店「GLM Store」的開發者分成計劃也將同期公布。

智譜AI是一家to B基因更濃厚的公司，但在2023年孵化了一個年輕的to C團隊，創立了對話機器人智譜清言。如今，這個團隊正在依託底層大模型能力，在爭奪AI時代入口的競爭中快速卡位。

3.更加Open的AI戰略

紅杉資本在去年11月曾預測，生成式AI進入第二幕。第一幕是從技術角度出發，第二幕則是從客戶角度出發，更多關注基礎模型的落地。

智譜AI可能是基礎大模型公司中，在商業化落地走的最快的公司。張鵬曾告訴「甲子光年」：「技術與商業化這兩件事，一直都是智譜AI的核心戰略。」

MaaS（Model as a Service）理念最早就是由智譜AI提出的。MaaS的服務方式主要有三種：雲端API、雲端私有化以及本地私有化。張鵬在技術開放日現場宣布，已經有200家企事業單位，與智譜AI深度共建AI落地的解決方案。

圖片來自智譜AI CEO張鵬演講PPT

智譜AI定位基座大模型，而不做行業熱議的垂直模型。張鵬認為大模型產品的機會在於成為底層作業系統，對外提供API接口。「我們不會直接扎到具體場景里做應用開發，很多行業存在技術、數據的壁壘，不是創業公司的體量能夠搞定的，更多希望是合作夥伴在垂直行業深耕。」

張鵬告訴「甲子光年」：「應用層的生態夥伴通常分為幾類，第一類是行業性的獨立軟體開發商（ISV），幫客戶做實施交付，或者客戶的最後一公里的系統融合打通的工作；第二類是行業性的合作夥伴，他們有比較強的資源與技術能力，我們聯合做一些微調模型以及相應的解決方案。此外還有一些開源生態的夥伴等等。」

與生態夥伴合作，短期內可能不會快速做大收入，但長期來看不但能夠做大AI的蛋糕，還能避免上一波AI浪潮中常見的定製化陷阱。

智譜AI還在擴大自己的朋友圈，讓自己變得更加開放。

一方面是技術上，繼續保持開源的戰略，將ChatGLM-6B、GLM-130B、WebGLM、VisualGLM、CodeGeeX、CogView、CogVLM、CogAgent等一系列模型開源。可以說，這才是真正意義的「Open AI」。

另一方面，智譜AI宣布了三項基金——大模型科研基金、大模型開源基金和「Z計劃」創業基金，來回饋科研、回饋社區，以及構建生態。

其中，智譜與合作夥伴聯合設立10億元的創業基金，已經投資了算力基礎設施公司數道智算，大模型公司面壁智能、聆心智能，AI Infra公司無問芯穹、基流科技，以及行業解決方案層的冪律智能、玦芯生物、智覽醫療等等。

圖片來自智譜AI CEO張鵬演講PPT

智譜AI，正在用開源開放、生態合作的的方式，構建自己的競爭壁壘。

在把OpenAI列為追趕目標的第四年，智譜AI終於向其看齊。國產大模型若想要真正引領創新，從追趕到超越，再到「無人區」的探索，現在才剛剛開始。

（封面圖來自電影《極速車王》）

END.