隨著大模型的研究和應用越來越廣泛，企業對於應用大模型的需求變得越來越迫切。加之大模型部署成本從千萬級逐漸降低到十萬級，企業擁抱大模型的門檻逐漸降低。

話雖如此，具體到大模型訓練、部署和應用，其實並非想像得那般簡單，這也是企業的大模型實踐並不成熟的原因所在。

在即將於6月21-22日在北京召開的WOT全球技術創新大會上，設置了「大模型部署與應用」專題討論，來自百度、網易雲音樂、第四範式、潞晨科技的多位實踐專家，帶來關於大模型部署與應用的現身說法。

百度內容生態AI大模型工程技術架構新挑戰與探索

隨著生成式AI技術浪潮的興起，內容生態作為最前沿的創新和業務落地場景，對技術架構不斷提出新挑戰。百度內容生態作為百度核心用戶產品信息流和搜索內容總供給，在內容理解和內容生成方向上不斷進行探索和創新。百度視頻創作平台建設過程中面臨AI算力託管、AI模型治理、推理加速等方面的挑戰時如何應對？解決方案是什麼？

百度內容生態大模型架構技術負責人張寶玉將帶來《百度內容生態AI大模型工程技術架構新挑戰與探索》的主題分享。

網易雲音樂大模型實踐及創新

在網易雲音樂資深算法平台工程師劉長偉《網易雲音樂大模型實踐及創新》的主題分享中，將介紹網易雲音樂基於LLMOps理念實現的大模型微調、部署、評測、標註鏈路，分享採用 zero offload技術來降低微調需要的資源門檻。此外，還會介紹基於自研 Modelzoo 實現大模型分布式管理、推理部署、推理優化以及平台提供的人工標註和機器標註流程。實踐部分，他將分享在音樂社區領域，如何基於大模型的閒聊對話全鏈路解決方案增加用戶主動會話意願，提升用戶留存率。

使用信創算力與虛擬化技術提升大模型部署效率

異構算力設備已經逐漸成為機器學習產品和服務中的常態化需求，近年來國產異構算力發展迅速，產生了一批相當有競爭力的產品。但其相對封閉的生態與雲原生粗粒度的分配方式造成了生產環境中異構算力的使用率往往不盡如人意。

大模型成為趨勢的當下，對於算力的需求呈現指數級別上升，如何能讓大模型可以平穩部署在信創設備上，並提升其利用率已經成為了一個重要的課題。

第四範式高級研發工程師李孟軒帶來題為《使用信創算力與虛擬化技術提升大模型部署效率》的分享，介紹Project-HAMi，一個基於雲原生的開源異構算力整合與虛擬化解決方案，以此方式降低國產異構算力的使用門檻，解決資源分配粒度過粗的問題，從而提升集群中異構算力設備利用率。

大模型訓練和加速的新技術與挑戰

AI模型急速增大與硬體算力緩慢增長的尖銳矛盾，已成為制約AI生產力解放和發展的主要痛點。基於多年在學術上的卓越成就和工業界的深厚積累，潞晨科技尤洋教授團隊攻克多維張量並行、序列並行、異構內存管理、大規模優化庫、自適應任務調度等多項核心關鍵技術，開源了面向大模型時代的通用深度學習系統Colossal-AI，可實現高效快速部署AI大模型訓練和推理，降低AI大模型應用成本。發布後僅用時一年多，已在AI大模型軟體基礎設施細分賽道開源指標排名世界第一。

潞晨科技技術總監卞正達將帶來《大模型訓練和加速的新技術與挑戰》的主題分享，介紹潞晨科技全球首個開源復現ChatGPT的RLHF訓練過程的完整解決方案，全球首個開源類Sora架構視頻生成模型及完整低成本解決方案Open-Sora，目前已更新至v1.1，總訓練成本僅1萬美元，發布後一個月已收穫GitHub Star近兩萬顆，在類Sora模型細分賽道排名世界第一。