大模型「圖紙」已現,火山方舟開工

2023-07-04     光錐智能

原標題:大模型「圖紙」已現,火山方舟開工

文丨劉雨琦

編丨王一粟

中國房子蓋了2000年,直至漢朝初期,才開始出現「建築圖紙」。

有了圖紙後,蓋房子便不僅僅依賴於幾個「老師傅」,圖紙是全盤的指導,避免了曾經多次的推倒重建以及因為力學結構不合理而半途而廢的情況,更能將任務合理的分配給不同的木工、瓦工,進行團隊協作。

圖紙的出現,使建築史進入了快速發展期,漢朝之後,中國建築類型開始百花齊放,也通過不同房屋類型,出現了餐廳、書房、旅館等功能性建築。

大模型的路,也正在經歷從摸著OpenAI過河,到按圖索驥的階段。

從今年2月份開始,大模型的公司進入了井噴的狀態。中國科學技術信息研究所等機構發布的《中國人工智慧大模型地圖研究報告》顯示,截至今年5月,國內已公開披露的大模型數量達到79個,「百模大戰」名副其實。

當眾多巨頭、明星創業者都紛紛下場「淘金」的時候,位元組跳動旗下的火山引擎,選擇了另一條「賣鏟人」的路。6月28日,火山引擎發布大模型服務平台「火山方舟」,面向企業提供模型精調、評測、推理等全方位的平台服務。

不做通用大模型,做一個「賣鏟人」,是火山引擎選擇的路。

求本溯源,當下選擇的路,往往在未來的目標之中。火山引擎總裁譚待在接受光錐智能等訪談時表示:「多雲多模型時代將成為確定性的趨勢。在未來,企業自身對於大模型的應用,將會是一個『1 + N』的應用模式,即一個主力模型和N個模型協作的模式。」

多雲多模型的時代,一定需要平台去建立生態,串聯上下游。就像房子會越蓋越多,需要不同公司滿足多元化的住戶需求,也需要建築設計、鋼筋水泥、軟硬裝修等一整套產業鏈。對應到大模型服務平台,就需要一邊遞圖紙、錘子釘子、鏟子等工具,幫大模型打造好;一邊要對接模型方和需求方,通過連結完成商業閉環。

可以說,火山方舟作為一個大模型服務平台,是「模型商城+模型工具」的集合。

模型商城,讓大模型用起來

MaaS(模型即服務)的概念如火如荼,但想要落地卻非常不容易。

整個大模型的產業鏈條中,分為三個重點角色:一是模型的提供方,如OpenAI、谷歌、百度、阿里、MiniMax等打造通用大模型的廠商,他們打造的通用大模型,被稱為基座模型;二是模型的使用方,不同企業將基座大模型通過精調和特殊數據的喂養為行業大模型;三是,大模型的終端客戶/用戶

相比海外市場在應用方面的火爆,中國市場仍然處在一個探索期。一方面,國內大模型百花齊放,但通用大模型仍然在不斷訓練和提升當中,追趕GPT-4的湧現能力;另一方面,想把大模型用起來的企業要麼不知道如何決策,要麼體驗後效果並不盡如人意。

基於上述痛點,火山引擎將大模型服務平台的作用分為兩個大方面,一個是模型商城,一個是模型工具。

模型商城,顧名思義,就是讓市面上的大模型都儘量入駐,供模型需求方挑選。

據光錐智能了解到,目前,「火山方舟」集成了百川智能、出門問問、復旦大學MOSS、IDEA研究院、瀾舟科技、MiniMax、智譜AI等7家AI科技公司及科研院所的大模型,統一對外提供服務。

這種吸納多家初創大模型的做法,和此前業界初期普遍認為的「大模型是巨頭的遊戲」,「行業只需要極少數通用大模型,其餘都是行業大模型」的想法並不完全一致。

火山引擎智能算法負責人吳迪認為,大模型市場會形成三級火箭:第一級是大模型提供商和研究機構,提供極具競爭性的通用基座模型或行業垂直模型。第二級是大量頗具技術能力的公司,形成1+N的模型格局,1個疊代自研模型的同時,引用若干商用模型。第三級則是千行百業都從大模型中獲益,通過調用接口、精調模型,打造應用。在提升自身公司經營效率的同時, 把大模型能力輸送到我們生活的方方面面。

如果未來的格局是多雲多模型的情況,那一定需要一個「模型商城」來聚合提供商和使用方。

比如,在火山方舟「模型廣場」中會有不同的模型供應商提供不同版本、參數、擅長不同領域的模型,使用方可以直接調用API 接入使用環境,也可以使用精調工具來做二次調優,再部署使用。

光錐智能曾在4月份調研多位SaaS廠商使用大模型的情況發現,大模型接入並不是「排他性」的,SaaS廠商更願意同時接入多個大模型。這是因為接入成本並不高,多一個模型就多一個選擇、多一個能力、多一重保障。比如,萬興科技就在海外業務中接入ChatGPT,國內業務接入文心一言。

而對於有大模型能力的廠商,不僅可以成為大模型的提供方,也能同時是需求方。比如,一家自研大語言模型的廠商,也可以接入其他大模型多模態的能力,讓自己的產品更加多元化。

可以說,沒有全能的大模型,但可以有全能的模型商城。

為了能幫企業選擇與自己更適配的基座模型,火山方舟推出「模型評估」功能,支持用戶基於自身數據、系統化地感知模型表現情況,並且給出詳細的測評報告,為後續做決策提供數據基礎。

對很多模型需求方來講,並不是一味追求參數。參數大、性能強的,可能性價比不高。「一個經過良好精調的中小規格模型,在特定工作上的表現可能不亞於通用的、巨大的基座模型,而推理成本可以降低到原來的十分之一。」吳迪稱。

而在模型評估之後,還需要進一步做模型精調,技術門檻和成本門檻是兩個最大的攔路虎。

如果沒有大模型服務平台,對於很多需求方而言,模型精調首先技術門檻比較高,既需要完整的數據能力,也需要有豐富的算法實踐經驗;其次對算力要求也不小,公有雲的彈性廉價資源可以極大地降低成本。

為了解決上述問題,火山方舟提供「模型精調」能力,由平台提供極簡精調流程,客戶選擇基礎模型,上傳標註數據集後即可精調;同時對於有複雜需求的場景,客戶可以設置高級參數、驗證集、測試集等更豐富功能,更自由的使用模型精調功能。

總之,火山方舟希望解決模型使用方的痛點,用更少的錢、更強的算力使用「更快的推理能力」。而對模型提供方來講,只有把大模型用起來,才能進一步疊代成長。

大模型的底座:安全和工具

僅僅完成商業邏輯上的閉環,對大模型生態來說,還遠遠不夠。除了大模型的核心能力,還需要更深厚的內功。

「企業使用大模型,首先要解決安全與信任問題」,譚待表示。

據網絡安全公司Cyberhaven的調查,至少有 4%的員工將企業敏感數據輸入 ChatGPT,敏感數據占輸入內容的比例高達 11%。2023 年初,三星公司在使用 ChatGPT不到20天時,就發現其半導體設備相關機密數據被泄露,並連續發生3起類似事故。

在多雲多模型的時代,安全信任是所有大模型使用的底線。這裡的安全,並不只是大模型內部的安全,而是模型提供方和使用方連接時的雙向信任。譚待介紹到,大模型服務商會考慮到智慧財產權問題,不希望方案和代碼被泄露;而使用者和企業更希望保障自身、Prompt和精調數據的安全。

為此,火山方舟通過安全沙箱、聯邦學習、硬體支持等方式保證雙方的安全連接,類似於第三方託管平台的角色。

「火山方舟」已上線了基於安全沙箱的大模型安全互信計算方案,利用計算隔離、存儲隔離、網絡隔離、流量審計等方式,實現了模型的機密性、完整性和可用性保證,適用於對訓練和推理延時要求較低的客戶。

吳迪表示,「火山方舟」還在探索基於英偉達NVIDIA新一代硬體支持的可信計算環境、基於聯邦學習的數據資產分離等多種方式的安全互信計算方案,更全面地滿足大模型在不同業務場景的數據安全要求。

在安全的基礎上,大模型落地更多是一個事無巨細的工程化能力,這就需要許多工具幫助其實現。

回想ChatGPT從剛剛問世到如今,OpenAI一直在打造生態壁壘:

3月份,很快GPT-4問世,面向企業用戶進行內測,與此同時,OpenAI開放了ChatGPT的API接口,一眾企業和開發者蜂擁而至,據不完全統計,目前基於GPT接口打造的應用超過1000個;

6月份,OpenAI計劃推出類似「APP Store」的大模型商店,將上面1000個應用能夠上架在應用商店中,並可以開源垂直領域的聊天機器人和定製的模型;

如此一步步走來,OpenAI在4個月之內,從一個模型的提供方發展為了模型生態。換句話說,谷歌可以在不到一個月之內推出一個新的大模型,但無法短時間內再形成1000個應用。

火山方舟的價值也在於此,精調後的模型在具體的業務中歷練,而應用端也有更加源源不斷模型資源可調配。吳迪透露,後續火山方舟計劃提供更多的插件,包括實時信息獲取、私域文檔問答召回、Prompt補全與構建等,並會為插件配套數據集。

另外,算力資源也是大模型訓練和使用中最稀缺資源。

今天,仍在算力增長的第一條曲線上,主要是把基礎模型訓練好,讓湧現能力更強、更聰明。但即將出現的,是「模型應用」的第二條增長曲線。隨著大模型融入千行百業,把大模型用好,ROI慢慢會轉正。通過應用再反哺訓練,讓營收和技術正向循環。

這個期間,模型應用所消耗的算力,會逐步超過模型訓練,預計在2025年會達到一個匯合點(下圖)。

硬體儲備只是基礎,算力要想更好的被調用,離不開硬體和軟體的雙向打磨。NVIDA開發與技術部亞太區總經理李曦鵬指出,之前的AI訓練以小模型為主,一般是單機或者單機多卡,如果訓練失敗重啟即可。而大模型訓練則需要成千上萬張卡,任何一台機器出故障都可能影響整個訓練過程,所以大模型的算力平台是一個大的系統工程。

除了訓練穩定性和安全問題,雲平台的集中算力還可以解決成本問題,只有推理成本足夠低,才能讓大模型被廣泛使用。然而,離散型的企業推理成本無法形成規模化效應,需要有統一的平台進行和強大的算力作為支撐。

火山引擎,抓住MaaS的新賽點

MaaS,是這一輪雲廠商走出新增長曲線的機會。

不止一家雲廠商向光錐智能透露,這一輪AI的需求,正在拉動著企業對算力需求的提升,將雲計算拉出增長疲軟的泥潭,甚至能恢復到之前的高速增長期。

而站在MaaS的新起點上,所有的雲廠商都在同一個起跑線上。為了搶奪這個新的藍海,雲廠商都在探索不同的商業路徑。

一是如同百度文心一言、阿里通義千問、華為盤古大模型等,雲廠商本身是基座模型的提供方,並在此基礎上面向企業客戶提供API插件,提供帶養分的培育土壤。但也會和行業客戶合作,共創行業大模型。

另一種則是如同火山方舟,騰訊MaaS商城等,並沒發布自己的通用大模型。騰訊是發布自己的行業大模型,而火山方舟是與不同的大模型提供方深度共創,幫助企業用行業數據開發大模型,並提供後續的一站式服務,直連客戶。

參考電商的模式,我們可以將這兩種模式類比為: 自營大模型和平台型大模型。

自營考驗的是技術能力,而平台考驗的則是「攢局」能力。對於綜合型雲廠商來講,多數都具備自營和平台兩種能力,但側重點卻非常不同。

模式本身都有各自的優劣勢,並無絕對的高下之分。作為一家「後起之秀」,火山引擎有機會抓住MaaS的新賽點,在市場中占有更多的份額。

目前,抖音集團內部已有十多個業務團隊試用「火山方舟」,在代碼糾錯等研發提效場景,文本分類、總結摘要等知識管理場景,以及數據標註、歸因分析等方面探索,利用大模型能力促進降本增效。這些內部實踐在快速打磨「火山方舟」,推動平台能力的進一步完善。

經歷業務的「淬鍊」,火山引擎已經跑出了差異化的競爭能力。

舉個簡單的例子,在經過抖音長期、大規模的機器學習實踐後,火山引擎在系統工程優化和超大規模分布式並行訓練上積累了豐富的經驗,能夠從軟硬協同層面進行優化,更輕鬆的支持一個大模型長時間穩定的高速訓練。

這樣的經驗也沉澱在了火山方舟中。據了解,火山引擎使用抖音同源的機器學習平台對外服務,在大規模穩定訓練上,尤其是自動駕駛、生物醫藥等「難啃」的行業,機器學習和推理能力將通過火山方舟釋放給更多模型使用方。

而這也將是客戶「用好」大模型的一塊重要拼圖,未來的大模型比拼的並不是「德智體美勞」全面發展,而是「術業有專攻」的專項比拼。

用一艘大模型方舟,火山引擎能否抓住MaaS的新賽點?

文章來源: https://twgreatdaily.com/zh-cn/7d039665e433752432bbd8fcb61b2609.html