10月30日，網際網路平台出海企業崑崙萬維宣布，正式開源旗下自研百億級大語言模型「天工Skywork-13B系列」，包括Skywork-13B-Base、Skywork-13B-Math兩大模型。
並且，每個模型都提供「量化版本」，即能夠通過「模型的壓縮」形成更小規模的版本，最小可在消費級顯卡進行部署和推理。
「與開源競爭註定失敗。」廣為流傳的谷歌內部文件《我們沒有護城河，OpenAI也沒有》中這樣寫道。
文中進一步解釋：「當免費的、不受限制的替代品質量相當時，人們不會為（ChatGPT為代表的、閉源的）受限制的模型付費。」
隨著百模之戰不斷深化和升級，不少企業都開始面臨閉源與開源所代表的兩種不同商業模式之間的選擇。
此前，國內已有多家企業官宣開源大模型，但普遍設置了授權申請門檻。而據官方信息，本次崑崙萬維官宣開源的兩大模型無需任何申請，允許開發者直接商用。
01、又一國產開源大模型正式發布
在此之前，阿里雲、搜狗創始人王小川所創辦的百川智能、清華系公司智譜AI等市場參與者均已發布了開源大模型。與之相比，崑崙萬維官方表示，天工Skywork-13B系列堪稱「業內開源最徹底的百億高質量商用模型」。
「徹底」體現在天工Skywork-13B系列，無需開發者額外申請即可商用。
相較之下，目前開源社區中的中文大模型多數並非是完全可商用，一般開源社區用戶通常需要進行複雜的商用授權申請流程，在某些情況，甚至有對公司規模、所在行業、用戶數等維度有明確規定不給予商業授權。
不僅如此，開源百億參數大模型之外，崑崙萬維還同步開源了600GB、1500億個Tokens（字符）的超大高質量開源中文數據集。
開發者可以最大程度地借鑑技術報告中大模型預訓練的過程和經驗，深度定製模型參數，有針對性地進行訓練與優化。
從ChatGPT掀起市場熱潮之初，訓練數據的重要性就屢被提及。ChatGPT乃至諸多大模型產品的核心算法架構Transformer由谷歌在2017年最初提出，其技術思想早已十分成熟。與之相比，高質量的訓練數據集，特別是中文數據集仍十分稀缺。
據華泰證券研報，如ChatGPT訓練數據中中文資料比重不足千分之一，僅為0.0991%，而英文資料占比超過 92.6%；據加利福尼亞大學和Google研究機構發現，機器學習和自然語言處理模型使用的數據集50%由12家Top機構提供，其中10家為美國機構，1家為德國機構，僅1家機構來自中國，為香港中文大學。
因此，在國內各方力量攻關大模型研發的過程中，數據集同樣是重要一環。
崑崙萬維官方表示，其本次開源的數據集是目前最大的開源中文訓練數據集之一。
02、開源vs閉源，各往何處去
在不少業內人士看來，模型開源和閉源之間並沒有明確的界限，兩者結合更有助於企業構建商業化優勢。
如國金證券研報寫道的，對於AI算法公司，選擇對外開源有助於行業技術進步和自身生態構建，是學界、早期業界以及部分AI初創企業的選擇。日益成熟的生態建設也是推升公司估值的主要驅動力之一。
而目前OpenAI、Google、Meta等領先的頭部AI大廠對於先進模型大多採用部分開源或僅開放使用模式。
舉例而言，2020年OpenAI發布了GPT-3模型，並在論文中較為詳細地介紹了模型訓練情況。用戶可以藉助論文不僅可以藉助論文復現模型訓練過程，還可以通過API的方式調用模型資源，屬於對外部分開源；而之後發布的ChatGPT、GPT-4則並未披露模型訓練細節。
（圖源/國金證券）
這也與如今崑崙萬維的思路不謀而合。
今年4月份，崑崙萬維首次發布自研千億級大語言模型「天工」，並於8月份推出AI搜索產品「天工AI搜索」。
崑崙萬維方面告訴「市界」，崑崙萬維董事長兼CEO方漢是是中文Linux（一種自由和開放源碼的作業系統）開源最早的推動者之一，最早一批參與到開源生態建設的開源「老兵」。本次開源Skywork-13B系列大模型，希望讓更多開發者們參與到AIGC的技術發展中，降低大模型商業門檻，推動大模型技術的行業落地。
今年7月中旬，Meta公司發布了Llama 2大模型的開源商用版本。彼時AI企業獵豹移動的創始人傅盛公開表示：「大模型不再高不可攀，平民化大模型時代已經到來！像我們這樣的公司會笑醒在深夜。」
而事實也的確證明了，在開發者的共建下，Llama 2生態發展極為迅速，被業界視為搶占OpenAI生態的最強大力量。
隨著百模大戰拼至「中場」，生態的構建勢必成為包括崑崙萬維在內，各家大模型企業的爭奪焦點。
參考文獻：
《LLaMA等開源模型凸顯先進算法及行業數據的重要性》，國金證券
（作者｜董溫淑，編輯｜孫春芳）