2023 VDC人工智慧會場:五大技術分享,揭秘vivo世界領先大模型實踐

2023-11-02     數字尾巴

原標題:2023 VDC人工智慧會場:五大技術分享,揭秘vivo世界領先大模型實踐

11月1日,2023 vivo開發者大會上,vivo自研通用大模型——藍心大模型矩陣正式亮相,為廣大用戶和開發者帶來諸多驚喜。在同日舉行的人工智慧會場上,vivo AI團隊圍繞如何構建世界領先的藍心大模型,分享了大模型的研發過程、安全設計、工程實踐、生態建設等主題,用領先的AI技術,助力廣大開發者和生態夥伴抓住產業趨勢和機遇,打通商業閉環,實現AI普惠。

vivo藍心大模型四大優勢,引領智能化體驗革新 當前,vivo已構建起完整的大模型矩陣,覆蓋從十億級到千億級不同的參數規模,同時開源了70億參數大模型。大模型矩陣涵蓋不同的用戶場景,保障以最佳體驗為用戶帶來價值;而開源模型,則助力夥伴以低門檻獲得大模型技術,推動產業發展。 vivo AI 算法負責人陳曉昕指出,藍心大模型具備四大特色:更懂手機、支持端側應用、安全可控和開放開源。它更深入地掌握手機的運行機制,能夠直接在手機端部署,天然支持端側應用,配備完善的安全管理功能,並擁抱開源生態。

陳曉昕還分享了藍心大模型的技術全景圖,即在應用層,大模型可以服務手機、網際網路和營銷等領域;在能力層,不斷提升大模型的語言理解、邏輯推理等關鍵技能;在模型層,持續優化文本大模型,並計劃推出語音與多模態大模型。

vivo AI 算法負責人 陳曉昕 全鏈路全周期護航,保障藍心大模型安全落地 為應對AI安全挑戰,vivo打造全新安全能力體系,從數據採集、模型訓練、內容安全、業務安全等全鏈路全周期發力,通過數據層面制定詳細的安全等級劃分,在訓練階段持續調優模型等,護航藍心大模型安全落地。 vivo AIGC安全專項組負責人李方圓表示,針對手機終端大模型安全,vivo還打造了行業首發的端側過濾能力,能夠保證用戶隱私文件、隱私照片不上雲,在端側完成審核並返回給用戶,同時搭建了快速干預的機制,通過知識庫內容補充彌補大模型的知識的局限性,並以知識注入的方式降低大模型幻覺和不可控性。

vivo AIGC安全專項組負責人 李方圓

AI工程體系,為大模型生產落地降本增效 大模型訓練難度大、成本高,落地效率低。為此,vivo打造AI工程體系,助力大模型預訓練、微調和部署降本增效。 據vivo AI 架構專家陳崇沛介紹,AI工程體系支持了從幾億參數到千億參數體量的模型,同時搭建多個平台:訓練平台支持千卡級別的分布式訓練;微調平台對指令微調和強化學習有完整支持;部署平台可以解決推理服務性能問題;計算平台可提供高性能計算、高性能存儲以及高速網絡的能力。

陳崇沛同時分享了藍心大模型預訓練案例和千億大模型部署案例,並透露,vivo聯合阿里雲搭建了千卡級別的算力集群,於國內率先配備了最先進的H系列GPU。

vivo AI 架構專家 陳崇沛

靈駿智算服務,讓vivo大模型創新敏穩兼顧 大模型的創新和應用需要強勁的AI基礎設施支撐,阿里雲機器學習平台研發負責人譚鋒表示,阿里雲人工智慧平台PAI打造靈駿智算服務,為夥伴提供覆蓋AI端到端的AI基礎設施,本次PAI聚焦工程化、高性能、穩定性等方面打造解決方案,助力vivo大模型業務高效穩定開展。

PAI為vivo搭建了CPFS分布式文件存儲系統,支持百萬級的IOPS以及存儲容量的在線無縫擴容,為訓練數據、模型文件、模型Checkpoint提供穩定可靠的分布式存儲。同時,PAI可以通過實時監控訓練任務狀態,及時發現故障並調度到不同節點以恢復作業,還支持對模型訓練任務step粒度的自動保存,在訓練中斷後,實現進度無損秒級恢復,讓vivo大模型創新敏穩兼顧。

阿里雲機器學習平台研發負責人 譚鋒

計算加速平台升級,支持大模型端側化落地 vivo AI長期推進端側化戰略,此次再度升級計算加速平台VCAP,支撐大模型端側化落地。vivo AI 端計算負責人魯晶表示,vivo深度分析大模型特性,全面優化算法模型、工具、底層加速框架與kernel層級,設計出大模型端側化整套解決方案。

在算法模型層面,vivo在結構設計上選擇更適合端側加速的子結構設計與維度;在工具層面,使用int4做權重存儲減小模型體積和內存占用,並充分利用帶寬達到極致的性能優化;同時優化框架設計與底層運行時的極致性能功耗。

目前,vivo藍心大模型、視覺大模型已成功端側落地,vivo成為了首家且是獨家使用自研大模型,實現手機端側大規模產品落地的手機廠商。

vivo AI 端計算負責人 魯晶

智能體架構,為大語言模型裝上「眼和手」

針對大模型落地挑戰,vivo創新提出智能體架構,為大語言模型裝上「眼和手」,進一步拓展大模型的應用邊界,實現從對話助手到全能助手的躍遷提升。 vivo AI系統智能負責人熊官敬表示,vivo將以藍心大模型為大腦,通過完整的開放架構體系打造,在技能插件化開發、數據感知融通、模型部署層面和開發者深度合作,共同實現能說會做、個性懂你、開放共享的全能助手。

熊官敬強調,具備「自主性」將是對大模型相關應用的核心度量之一。通過系統級豐富的場景感知結合AI大模型的意圖理解,vivo始終在推動智能體實現「無需表達,自然懂你」的主動智能。

vivo AI 系統智能負責人 熊官敬 增進AI平台能力,助力開發者智慧進化 長期以來,vivo依託開發者平台為開發者提供豐富能力服務支持。vivo AI 高級產品經理劉詩韻表示,vivo開發者平台新增引入藍心大模型和AIGC繪畫大模型,平台能力和產品全面升級,助力開發者高效創新。 其中,藍心大模型應用廣泛,能為學習閱讀、辦公創作、生活等場景帶來逾越式的改變;AI繪畫大模型妙筆生畫可以助力開發者高效製作出高質量的設計產品;vivo編碼助手則具有代碼生成、代碼糾錯等能力,可以幫助開發者提升代碼效率和質量。

此外,vivo開發者平台還新增了圖片超清、去手寫,AI變聲等雲端算法能力,以及端側內容檢測、離線翻譯等端側新技術,進一步為開發者打造高水準的服務支持。

vivo AI 高級產品經理 劉詩韻 攜手香港中文大學,共築多模態中文大模型繁榮 從技術發展趨勢看,大模型正以「大語言模型」為中心向多模態拓展,香港中文大學電子工程系副教授李鴻升指出,其團隊與vivo在多模態領域展開豐富合作,成功打造和優化了多款具有多模態信號理解和推理能力的多模態語言大模型,並將對相關多模態模型和方案進行開源,共同推動國產多模態中文大模型的持續發展。

據李鴻升介紹,香港中文大學團隊聯合vivo研究院打造了ImageBind-LLM大模型,並首次提出面向多種模態信號理解、推理和回答的統一大模型框架。而針對LLaMA 2中文場景表現不佳的問題,香港中文大學團隊將vivo自研大模型BlueLM整合到其研發的LLaMA-Adapter多模態大模型中,替換原LLaMA 2模型,基於BlueLM的強大能力打造出性能領先行業的中文多模態模型。

香港中文大學電子工程系副教授 李鴻升

未來,vivo將在大模型等前沿技術領域保持深耕,創新應用場景,疊代服務工具,攜手開發者及夥伴不斷為用戶創造驚喜,讓AI成為造福社會的力量。

文章系第三方投稿,與數字尾巴立場無關

文章來源: https://twgreatdaily.com/effda176a1485a415361e457b17ae2b7.html