文｜周鑫雨
編輯｜蘇建勛
「零一萬物絕不放棄預訓練。」
2024年10月16日，AI獨角獸零一萬物創始人兼CEO李開復，公開立了軍令狀。也在同一天，零一萬物發布了最新的MoE（混合專家）架構的旗艦大模型：Yi-Lightning。
這也是時隔5個月後，零一萬物再次更新模型的新動態。
李開復表示，Yi-Lightning的訓練只用了2000張GPU，訓練周期僅一個半月，成本只有300多萬美元，是埃隆·馬斯克的xAI成本的1%、2%。
訓練成本雖然低，但Yi-Lightning的性能並沒有打折扣。在加州大學伯克利分校LMSYS團隊的Chatbot Arena（聊天機器人競技場）總榜單上，Yi-Lightning的性能與xAI的Grok-2-08-13模型並列第6，並且超越了OpenAI的GPT-4o-2024-05-13。
LMSYS團隊的Chatbot Arena（聊天機器人競技場）大語言模型綜合能力總榜單。圖源：零一萬物
值得注意的是，在中文能力上，Yi-Lightning與OpenAI的最新模型o1-mini版本並列取得了第二；在數學能力上，Yi-Lightning和Gemini-1.5-Pro-002並列第3，僅次於在數學、邏輯推理見長的o1。
在定價上，Yi-Lightning也創了零一萬物模型的最低定價：0.99元/百萬Token。
零一萬物模型定價。圖源：零一萬物官網
當然，榜單排名並不意味著模型在任務場景下的能力。在發布會上，零一萬物著重在實用性上，讓Yi-Lightining秀了一把肌肉。
比如，Yi-Lightining相比2024年5月發布的Yi-Large，首包時間（從接收到任務請求到系統開始輸出響應結果之間的時間）縮短了一半，最高生成速度提升了近四倍。
具體到翻譯場景，Yi-Lightining比豆包、DeepSeek、通義千問最新旗艦模型的翻譯速度更快，且翻譯結果更加信達雅。
四個模型在相同翻譯任務上的表現。圖源：零一萬物
發布會上，李開復也揭秘了Yi-Lightning的訓練策略：
- 獨特的混合注意力機制（Hybrid Attention）：在處理長序列數據的過程中，能夠提高性能的同時，還能降低推理成本；
- 動態Top-P路由機制：根據任務難度自動選擇最合適的專家網絡組合；
- 多階段訓練（Multi-stage Training）：讓模型在不同階段吸收不同的知識，方便mixing團隊進行數據配比的調試工作，並能保證不同階段的訓練速度和穩定性。
在2024年5月份的發布會上，零一萬物在國內發布了C端的生產力產品「萬知」。時隔五個月，零一萬物的B端商業化版圖也有了新的進展——聚焦零售和電商等場景的AI 2.0數字人。
AI 2.0數字人的背後，是電商話術大模型、角色大模型、直播聲音大模型的多模態協同訓練。目前，AI 2.0數字人還接入了Yi-Lightning。用戶只需要輸入出售的商品、聲音的性別和語調，就能生成相應的數字人。
零一萬物AI 2.0數字人接入Yi-Lightning前後對比。圖源：零一萬物
如今，大模型發展也來到了技術探索的深水區。即便立下了「絕不放棄預訓練」的軍令狀，李開復也承認：「但不是每家公司都可以做這件事情，做這件事情的成本也比較高，以後有可能會越來越少的大模型公司訓練做預訓練。」
不過，對如今六家大模型獨角獸，李開復依然抱有樂觀的態度：
「據我所知，這六家公司融資額度都是夠的，我們做預訓練的production run，訓練一次三四百萬美金，這個錢也是頭部公司都付得起，我覺得中國的六家大模型公司只要有夠好的人才，想做預訓練的決心，融資額跟晶片都不會是問題的。」
歡迎交流！