端側大模型風起,聯發科技宣布All in AI,發布天璣9300+晶片丨最前線

2024-05-08     36氪

原標題:端側大模型風起,聯發科技宣布All in AI,發布天璣9300+晶片丨最前線

作者丨邱曉芬

5 月 7 日,聯發科技(MediaTek)舉辦天璣開發者大會 2024。這也是聯發科技董事、總經理陳冠州口中,「第一次這麼大規模的AI產業生態大會」。

從整場大會可以看出,聯發科技大有All in AI的趨勢,從晶片、軟體工具、生態多方面著手。

在晶片層面,聯發科此次發布了全新的「天璣9300+核心處理器」。值得注意的是,這顆晶片依舊主打AI能力——在端側支持雙LoRA融合技術,這意味著開發者們能在一個大模型的基礎上,疊加雙倍的功能,生成式AI的效率更高。

此外,天璣 9300+也支持當下主流的生成式 AI大模型,支持圖像、文字、音樂等,還支持AI框架 Execu Torch,加速開發者藉助端側生成AI的開發進程。在發布會上演示時,聯發科技用天璣 9300+晶片,在端側跑了Llama 2的 7B大模型,僅僅使用了22tokens/秒。

在過去一段時間裡,聯發科技對端側大模型在手機的落地發起了進攻。去年 11月份推出的天璣 9300 已經得到了OPPO、vivo主流手機廠商旗艦系列的認可,在彼時那顆晶片上,聯發科技開始在soc裡面集成了能提高計算效率、降低計算功耗的的APU,把計算的任務從GPU分流到 APU上。

在這幾次的AI突圍後,此前聯發科技方面也表示,其今年的AI晶片出貨量將突破千萬片大關。

除了晶片單一產品之外,此次聯發科技還在軟體上下了功夫。陳冠州表示,在構建端側AI的生態上,更好的方式其實是將原有的智能生態轉化成生成式AI,而不是重新從0開始造一套生態。據他判斷,生成式 AI在手機上將在三個方面率先落地——智能出行、遊戲、新的交互體驗。

不過,由於生成式AI尚且處於起步期,而終端硬體各式各樣,互相移植的難度太大,要在端側運行大模型,目前也缺乏開發工具。

為此,聯發科技還發布了一個「天璣AI開發套件」。據聯發科技方面介紹,這個套件的特點是更快更全,將通過模型的量化、編譯、推理等技術,加速大模型部署,部署時間從一周減少到一天;此外,還覆蓋全球主流大模型的GenAI Model Hub,提供一站式視覺化開發環境。

目前,天璣AI開發者套件已覆蓋智慧型手機、智能汽車、物聯網、個人電腦等智能終端設備。

除了晶片和工具上的新動作,此次聯發科技也官宣了不少生態夥伴的合作關係。比如,此次聯發科方面宣布與阿里雲旗下通義千問 AI Agent(智能體)進行端側合作。

此次,聯發科技方面還宣布了與百川智能、傳音、零一萬物、OPPO、榮耀、vivo、小米啟動「天璣AI先鋒計劃」,將整合產業生態夥伴資源為開發者提供開發資源、技術支持和商業機會,幫助開發者在搭載天璣晶片的終端設備上打造新的用戶體驗。

文章來源: https://twgreatdaily.com/zh-tw/bce064554cfc5f2a5c93364aee7b6ba7.html