編輯 | 楚濟慈 來源 | 零壹財經
「大模型從單模態邁向多模態成為必然。」
11月23日，清華大學博世AI教授朱軍在騰訊金融雲新智能技術峰會上說，隨著技術的代際更迭，未來的人工智慧將是與人類相仿、高效的多模態智能處理機，顛覆內容生產和交互方式，孕育著巨大的科研、工程和商業潛力。
目前，多模態已經滲透到了各類垂直大模型。例如，在金融大模型里，最常見的客服系統，在一開始構建知識庫的時候，只能支持文本知識庫的啟動構建，但加入多模態後就可以對複雜的圖文，視頻類的內容進行知識庫的構建。在最後終端輸出、給客戶的回答時，不僅可以用文本的方式回答，也可以用視頻，甚至可以跟數字人結合，用語音的方式回答問題。
在邁向多模態的道路上，金融大模型呈現出怎樣的發展特點和趨勢？騰訊雲高管在昨日演講和媒體群訪中提到的三句俗語，或能給出一些答案。
「殺雞不要用牛刀」意思是不要盲目追求大參數的大模型，畢竟適合自己的才是最好的。
「大力出奇蹟」很好地指出了算力的重要性和基礎性，即便大型金融機構會自主研發大模型，但在底層算力方面，仍需和技術廠商合作。
「最後一公里」則是騰訊雲在金融領域面對最多的需要解決的情況，即騰訊雲提供金融行業的大模型，客戶提供他的數據以及專業場景，雙方一起做"最後一公里"的精調——生成一個客戶專屬行業大模型，來解決金融機構面臨的具體問題。
01
「殺雞不要用牛刀」
大模型並非越大越好，金融業要做好「大模型裁剪」。
從實際情況來看，金融大模型要立足場景和高質量數據，追求效率和成本的最優解，因此並不是參數越大越好。
騰訊雲總裁邱躍鵬表示，當大家想到大模型的時候都會想去追求大參數，但通過實踐發現，在非常多的場景中，一定要非常關注ROI，有些成本很高，不是每家企業都能承受。如果用了小參數，隨之算力要求也降低，但又能很好地解決場景需求，這給了我們非常多的啟示。
「在場景中去裁減到最適合自己參數的模型，才能真正在未來商業應用中跑通整個ROI，讓企業的經營效率提升。」
邱躍鵬表示，尤其是金融行業有如此大的規模，如果找到合適的解決方案，就可以讓整個行業在很多場景中的效率提升5%到10%，這放在金融的大行業中，意味著巨大的財富價值創造。所以，在這個方面，希望跟各方共同探索，真正做好大模型和金融場景的結合。
為了打造專業合規的金融行業大模型，騰訊雲通過預訓練、金融領域垂類任務精調、強化學習的方式，持續積累和強化金融行業大模型。在通用能力的基礎上，騰訊雲金融行業大模型解決方案具備金融領域知識推理、研報撰寫、智能輿情等專業下游任務能力。
02
「大力出奇蹟」
算力屬於新型基礎設施，它是數據中心的伺服器通過對數據進行處理後實現結果輸出的一種能力。算力與算法、數據一起構成人工智慧發展的三大基石。
今年以來，大模型、人工智慧快速發展，促使算力需求大爆發。據《人工智慧2.0時代的公共智算服務發展指南》顯示，截至2023年6月，全國已投運的智算中心達到25個，在建的智算中心超過20個，算力規模持續保持全球第二。年初發布的《數字中國建設整體布局規劃》明確「2522」的整體框架，提出打通數字基礎設施大動脈、暢通數據資源大循環，足以可見算力的重要性。
在金融行業訓練一個典型場景模型，一般是十億到百億級別，目前很少做千億級的模型。像百億級別任務需要幾十張卡集群並行訓練，帶寬要求也是達到TB級，並且對存儲Tbps要求也非常高。騰訊雲已推出的HCC高性能計算集群作為大模型的算力底座，可以非常好地支撐大模型的訓練。
邱躍鵬提到，從騰訊的角度來講，不僅僅提供了混元模型API的能力讓大家去用，在整個基礎算力端，騰訊也一直在服務中國眾多的大模型公司，像百川、智譜等都在用騰訊的算力做大模型訓練。
只有夯實算力底座，再通過提供模型工具、深入業務場景，才能大力推進金融領域的智能實踐應用。
03
「最後一公里」
目前，金融機構布局大模型主要有哪些路徑？在金融大模型的應用領域，大型金融機構和中小金融機構有何區別？騰訊雲高管在群訪中回答了這些問題。
毋庸置疑，人工智慧的發展是爆炸式的。騰訊雲副總裁胡利明表示，大模型的誕生使金融機構能夠快速擁有無數個可以複製、成本非常低、優秀的「大學生」。加上在金融領域專業數據的訓練，大模型將全面重塑金融服務對客的體驗以及升級內部運營的效率。國內非常多的金融機構，尤其是頭部的機構和行業的科技企業都在積極探索和擁抱大模型。
另一方面，技術的發展實在太快了，作為金融機構，從零開始訓練一個大模型的代價非常高。從初期的大量高質量的準備到預訓練、精調、強化學習、能力增強、系統整合、部署發布等技術門檻額成本都非常高，所以行業落地還是基於頭部開源的大模型或者在頭部廠家的大模型基礎上進一步進行該領域的數據加載以及訓練。
騰訊雲副總裁、騰訊雲智能解決方案負責人王麒介紹稱，在整個大模型生態的產品貨架上，騰訊雲提出MaaS體系，從最底層的算力支持、計算網絡存儲等等，再到上面的通用大模型，然後在通用大模型的基礎上，再去預訓練出一個行業專屬的金融大模型。在行業專屬的金融大模型的基礎上，再加上行業的數據做精調，最後再變成客戶的專屬大模型。
王麒說，整個金融大模型的產品體系是由下往上走的，不同的金融企業可以根據自身的投入成本以及場景複雜度，選擇在不同的點去切入自己的金融行業大模型。
像比較大的金融企業，有比較好的保障，也有持續的投入，更多可能選擇往底層方向去走，甚至會構建自己的模型。但是，像算力集群、計算網絡存儲這些底層基礎設施方面，一般來講不會再去觸到這層，而是選擇跟騰訊雲這樣的專業雲廠商一起合作。
在部署方式上，大的金融企業是私有化方式，當然如果不涉及到比較深入的客戶交易數據，可能會用公有雲，涉及到敏感的數據，可能會用團體雲或者私有化的方式去部署。私有化的情況下，一定會對模型進行必要的裁減，在能效比方面尋求一個最優的選擇。
另外，考慮到金融行業更多是對數據以及場景的管理，所以大的金融企業更多會和廠商合作進行模型的訓練，事實上廠商在模型上面有獨特優勢。
在這個基礎上，騰訊雲發現面對最多的也是這種情況，即騰訊雲提供金融行業的大模型，客戶提供他的數據以及專業場景，雙方一起做"最後一公里"的精調——生成一個客戶專屬行業大模型，來解決金融機構面臨的具體問題。
至於中小金融機構，大多是在關注和觀望，可能會根據頭部機構的場景試點落地的情況，然後再選擇跟隨的策略。比如和行業內的技術公司像ISV合作，通過向對方提供自身特色的數據和樣本，獲取快速構建的真正匹配的模型。
04
未來的行業生態和競爭格局：分工明確
王麒表示，在未來大模型的發展下，廠商和金融機構會做分工，廠商更多會去做底層的技術構建，以及在安全合規上面進行能力建設。金融機構更多是把握數據的安全性以及最後的場景落地。
騰訊作為模型和工具鏈的提供方，可以用百億參數的小模型來解決金融企業的問題。上文提到，其實並不是每個金融企業都能夠花幾百萬來構建一個大模型。所以，成本對他們來講是很重要的一個因素。在這個過程中，騰訊雲的優勢在於它能提供一個小模型來解決問題。
在安全合規方面，大模型是一個嚴謹、低容錯率的行業，尤其在金融行業，所以它需要一個標準來進行評測。騰訊雲也率先考慮到這一點，今年9月與中國信通院等機構發布了國內首個金融行業大模型標準《面向行業的大規模預訓練模型技術和應用評估方法第1部分：金融大模型》。
談到未來行業模型的整個生態，王麒表示，我國做底層通用大模型的企業應該會越來越少，因為這是一個"深水區"，需要多年的技術積累。 所以，最後應該是少數幾家頭部廠商能做底層大模型，更多的合作夥伴則加入進來做精調的部分，即做好"最後一公里"的數據精調，來解決最後企業真正的問題，最後實現落地。