「零一萬物自己的發展受益於開源社區，我們也有義務來做出我們的貢獻。」李開復表示。

從需求側來說，現在開源模型的局限，也是零一萬物看到的機會。

李開復認為，零一萬物發布的34B模型尺寸在開源社區屬於稀缺的「黃金比例」尺寸。相比目前開源社區主流的7B、13B等尺寸，34B模型具備更優越的知識容量、下游任務的容納能力和多模態能力，也達到了大模型 「湧現」的門檻。

在精度上，不少開發者都表示7B、13B開源模型在很多場景下無法滿足需求，追求更好的性能需要使用30B以上的模型，但一直沒有合適的選擇，高質量的Yi-34B的出現，順利解決了開源社群這一剛性需求。

而比起更大的 50B至70B，34B是單卡推理可接受的模型尺寸的上限，訓練成本對開發者更友好，經過量化的模型可以在一張消費級顯卡（如4090）上進行高效率的推理，對開發者操作服務部署有很大的優勢。

值得一提的是，對於模型的開源或閉源路線，零一萬物是兩條腿在走路。

在後續的模型發布計劃中，零一萬物一方面會在開源的34B模型基礎上繼續做優化與疊代，另一方便也在繼續推高模型參數，後續會推出千億模型參數的閉源版本。

2.登頂最強開源大模型

零一萬物此次開源發布的Yi系列模型，包含34B和6B兩個版本。在Hugging Face 英文測試公開榜單 Pretrained 預訓練開源模型排名中，Yi-34B以70.72的分數位列全球第一，碾壓 LLama 2-70B和 Falcon-180B等眾多大尺寸模型。

Hugging Face 是全球最受歡迎的大模型、數據集開源社區，被認為是大模型領域的GitHub，在大模型英文能力測試中具有相當權威性。對比參數量和性能，Yi-34B相當於只用了不及LLama2-70B一半、Falcon-180B五分之一的參數量，取得了在各項測試任務中超越全球領跑者的成績，躋身目前世界範圍內開源最強基礎模型之列。

編輯

來源（勾選 pretrained）：https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard

除了英文測試榜單之外， Yi-34B也更「懂」中文。

在C-Eval中文權威榜單排行榜上，Yi-34B超越了全球所有開源模型。對比大模型標杆GPT-4，在CMMLU、E-Eval、Gaokao 三個主要的中文指標上，Yi-34B 也具有絕對優勢，凸顯中文世界的優異能力，更好地滿足國內市場需求。

C-Eval 排行榜：公開訪問的模型，Yi-34B 全球第一（2023年11月5日）

從更為全面的評估看，在全球大模型各項評測中最關鍵的 「MMLU」（Massive Multitask Language Understanding 大規模多任務語言理解）、BBH等反映模型綜合能力的評測集上，Yi-34B在通用能力、知識推理、閱讀理解等多項指標評比中全部勝出，與 Hugging Face 評測高度一致。

各評測集得分：Yi 模型 v.s. 其他開源模型

不過，Yi-34B暫時也有自己的短板。

和 LLama2一樣，Yi系列模型在GSM8k、MBPP 的數學和代碼評測表現略遜GPT模型。由於零一萬物的技術路線傾向於在預訓練階段儘可能保留模型的通用能力，因此沒有加入過多的數學和代碼數據。

李開復表示，研究團隊此前在《Mammoth: Building math generalist models through hybrid instruction tuning》等研究工作中針對數學方向進行過深度探索。在未來，零一萬物的系列開源計劃中將推出代碼能力和數學能力專項的繼續訓練模型。

3.全球最長200K上下文窗口，直接開源

大模型的一個新的技術發展趨勢，就是「長文本輸入」。

OpenAI的GPT-4上下文窗口（context window）只有32K，文字處理量約2.5萬字。今年三月，矽谷知名大模型創業公司Anthropic的Claude2-100K 將上下文窗口擴展到了100K規模。在國內大模型公司中，月之暗面、百川智能也發布了長文本模型。

零一萬物此次開源的Yi-34B模型，將發布全球最長、可支持200K 超長上下文窗口版本，可以處理約40萬漢字超長文本輸入，大約是兩本《三體1》，並且是第一家將超長上下文窗口在開源社區開放的大模型公司。

在語言模型中，上下文窗口是大模型綜合運算能力的金指標之一，對於理解和生成與特定上下文相關的文本至關重要，擁有更長窗口的語言模型可以處理更豐富的知識庫信息，生成更連貫、準確的文本。

此外，在文檔摘要、基於文檔的問答等下游任務中，長上下文的能力發揮著關鍵作用，行業應用場景廣闊。在法律、財務、傳媒、檔案整理等諸多垂直場景里，更準確、更連貫、速度更快的長文本窗口功能，可以成為人們更可靠的AI助理，讓生產力迅猛提升。然而，受限於計算複雜度、數據完備度等問題，上下文窗口規模擴充從計算、內存和通信的角度存在各種挑戰，因此大多數發布的大型語言模型僅支持幾千tokens的上下文長度。

為了解決這個限制，零一萬物技術團隊實施了一系列優化，包括：計算通信重疊、序列並行、通信壓縮等。通過這些能力增強，實現了在大規模模型訓練中近100倍的能力提升，也為Yi系列模型上下文規模下一次躍升儲備了充足「電力」。

Yi-34B的200K上下文窗口直接開源，不僅能提供更豐富的語義信息，理解超過1000頁的PDF文檔，讓很多依賴於向量資料庫構建外部知識庫的場景，都可以用上下文窗口來進行替代。Yi-34B的開源屬性也給想要在更長上下文窗口進行微調的開發者提供了更多的可能性。

4.AIInfra是大模型核心護城河，40%訓練成本下降

AI Infra（AI Infrastructure 人工智慧基礎架構技術）主要涵蓋大模型訓練和部署提供各種底層技術設施，包括處理器、作業系統、存儲系統、網絡基礎設施、雲計算平台等等，是模型訓練背後極其關鍵的「保障技術」，這是大模型行業至今較少受到關注的硬技術領域。

李開復曾經表示，「做過大模型Infra的人比做算法的人才更稀缺」。在打造「World's No.1"梯隊時，超強的Infra 能力是大模型研發的核心護城河之一。如果說訓練大模型是登山，Infra的能力定義了大模型訓練算法和模型的能力邊界，也就是「登山高度」的天花板。在晶片、GPU等算力資源緊缺的當下，安全和穩定成為大模型訓練的生命線。零一萬物的 Infra 技術通過「高精度」系統、彈性訓和接力訓等全棧式解決方案，確保訓練高效、安全地進行。

憑藉對AI Infra的重投入，Yi-34B模型訓練成本實測下降40%，實際訓練完成達標時間與預測的時間誤差不到一小時，進一步模擬上到千億規模訓練成本可下降多達50%。截至目前，零一萬物Infra能力實現故障預測準確率超過90%，故障提前發現率達到99.9%，不需要人工參與的故障自愈率超過95%，有力保障了模型訓練的順暢進行。

在 Yi 開源模型的全球首發日，零一萬物CEO李開復也宣布，在完成 Yi-34B 預訓練的同時，已經旋即啟動下一個千億參數模型的訓練。「零一萬物的數據處理管線、算法研究、實驗平台、GPU 資源和 AI Infra 都已經準備好，我們的動作會越來越快」。

5.深研「規模化訓練實驗平台」，從「粗放煉丹」進階到 「科學訓模」

耀眼成績的取得，源於零一萬物潛心數月練就的大模型 「科學訓模」方法論。

眾所周知，大模型效果依賴於更多、更高質量的數據，零一萬物在數據處理管線上可謂「不惜成本」。由前Google大數據和知識圖譜專家領銜的數據團隊，憑對數據的深度理解與認知，結合大量數據處理實驗，建設了高效、自動、可評價、可擴展的智能數據處理管線。

不僅如此，經過幾個月大量的建模和實驗，零一萬物自研出一套「規模化訓練實驗平台」，用來指導模型的設計和優化。數據配比、超參搜索、模型結構實驗都可以在小規模實驗平台上進行，對34B模型每個節點的預測誤差都可以控制在0.5%以內。掌握了更強的模型預測能力，從而大大減少了進行對比實驗需要的資源，也減少了訓練誤差對於計算資源的浪費。

數據處理管線和加大規模預測的訓練能力建設，把以往的大模型訓練碰運氣的「煉丹」過程變得極度細緻和科學化，不僅保證了目前發布Yi-34B、Yi-6B模型的高性能，也為未來更大規模模型的訓練壓縮了時間和成本，有能力以領先於行業的速度，將模型規模「絲滑」擴大到數倍。

6.零一萬物團隊首度亮相

零一萬物的團隊臥虎藏龍，成員來自Google、微軟、阿里巴巴、百度、位元組跳動、騰訊等國內外頂級企業背景，並持續延攬全球範圍內最優秀的華人AI精英。

零一萬物算法和模型團隊成員，有論文曾被GPT-4引用的算法大拿，有獲得過微軟內部研究大獎的優秀研究員，曾獲得過阿里CEO特別獎的超級工程師。總計在ICLR、NeurIPS、CVPR、ICCV等知名學術會議上發表過大模型相關學術論文100餘篇。

零一萬物技術副總裁及AI Alignment負責人是 Google Bard/Assistant 早期核心成員，主導或參與了從 Bert、LaMDA 到大模型在多輪對話、個人助理、AI Agent 等多個方向的研究和工程落地；首席架構師曾在Google Brain與Jeff Dean、Samy Bengio等合作，為TensorFlow的核心創始成員之一。

首次發布的背後主力戰將，零一萬物技術副總裁及Pretrain負責人黃文灝是通用人工智慧 AGI 的信仰者，他曾先後任職於微軟亞洲研究院和智源研究院。 在微軟從事AI Agent研究工作時，得到微軟創始人比爾·蓋茨和CEO 薩提亞·納德拉的高度讚揚。

而支持 Yi 模型訓練保障交付的零一萬物技術副總裁及AI Infra負責人戴宗宏，是前華為雲 AI CTO 及技術創新部長、前阿里達摩院 AI Infra 總監。Infra核心團隊主要來自於阿里、華為、微軟、商湯，是AI 多領域具有高水平研究及系統研發能力的頂尖專家，曾經參與支持了4個千億參數大模型規模化訓練，管理過數萬張GPU卡，夯實了端到端的全棧AI技術能力，零一萬物可說是具備一支行業內少有的 AI Infra 「技術天團」。

7.打造更多to C Super App

對於大模型的商業落地規劃，零一萬物將重點放在了to C路線上。李開復表示，零一萬物將基於Yi系列大模型，打造更多To C超級應用。

李開復強調，「AI 2.0是有史以來最大的科技革命，它帶來的改變世界的最大機會一定是平台和技術，正如PC時代的微軟Office，移動網際網路時代的微信、抖音、美團一樣，商業化爆髮式增長機率最高的一定是ToC應用。零一萬物邀請開發者社群跟我們一起搭建Yi開源模型的應用生態系，協力打造AI 2.0時代的超級應用。」

目前，Yi系列模型已在 Hugging Face、ModelScope、GitHub 三大全球開源社區平台正式上線，同時開放商用申請，給開發者在使用LLM的過程中提供更多、更優質的選擇。

本次開源的基座模型包括200K上下文窗口的基座模型，基座模型進行了比較均衡的IQ和EQ的配置，保留了後續進行不同方向微調的可能性。為了能讓語言模型有更好的應用效果，廣大開發者可以基於基座模型進行微調，GitHub 01Yi 開源網頁上已經提供了簡單的微調代碼，同時模型和主流語言模型微調框架兼容，開發者可以自行進行適配。

接下來，零一萬物還將基於Yi 基座模型，快節奏開源發布一系列的量化版本、對話模型、數學模型、代碼模型和多模態模型等，邀請開發者積極投入，共同促進語言模型開源社區的繁榮發展，培育新型「AI-first」創新生態體系。

開源地址：

Hugging Face：https://huggingface.co/01-ai/Yi-34B；https://huggingface.co/01-ai/Yi-6B

ModelScope：https://www.modelscope.cn/models/01ai/Yi-34B/summary； https://www.modelscope.cn/models/01ai/Yi-6B/summary

GitHub：https://github.com/01-ai/Yi