10月30日，百川智能發布Baichuan2-192K大模型。其上下文窗口長度高達192K，是目前全球最長的上下文窗口。Baichuan2-192K能夠處理約35萬個漢字，是目前支持長上下文窗口最優秀大模型Claude2（支持100K上下文窗口，實測約8萬字）的 4.4倍，更是 GPT-4（支持32K上下文窗口，實測約 2.5萬字）的14倍。Baichuan2-192K不僅在上下文窗口長度上超越Claude2，在長窗口文本生成質量、長上下文理解以及長文本問答、摘要等方面的表現也全面領先Claude2。
今年9月25日，百川智能已開放了Baichuan2的API接口，正式進軍企業級市場，開啟商業化進程。此次Baichuan2-192K將以API調用和私有化部署的方式提供給企業用戶，目前百川智能已經啟動Baichuan2-192K的API內測，開放給法律、媒體、金融等行業的核心合作夥伴。
上下文窗口長度是大模型的核心技術之一，通過更大的上下文窗口，模型能夠結合更多上下文內容獲得更豐富的語義信息，更好的捕捉上下文的相關性、消除歧義，進而更加準確、流暢的生成內容，提升模型能力。
Baichuan2-192K在Dureader、NarrativeQA、LSHT、TriviaQA等10項中英文長文本問答、摘要的評測集上表現優異，有7項取得SOTA，顯著超過其他長窗口模型。
此外，LongEval的評測結果顯示，在窗口長度超過100K後Baichuan2-192K依然能夠保持非常強勁的性能，而其他開源或者商用模型在窗口增長後效果都出現了近乎直線下降的情況。Claude2也不例外，在窗口長度超過80K後整體效果下降非常嚴重。由此可見，Baichuan2-192K的長窗口內容記憶和理解能力大幅領先其他模型。
（LongEval是加州大學伯克利分校聯合其他高校發布的針對長窗口模型的評測榜單，主要用來衡量模型對長窗口內容的記憶和理解能力，是業內公認的長上下文窗口理解權威評測榜單）
擴大上下文窗口能有效提升大模型性能是人工智慧行業的共識，但是超長上下文窗口意味著更高的算力需求和更大的顯存壓力。目前，業內有很多提升上下文窗口長度的方式，包括滑動窗口、降採樣、小模型等。這些方式雖然能提升上下文窗口長度，但對模型性能均有不同程度的損害，換言之都是通過犧牲模型其他方面的性能來換取更長的上下文窗口。
而本次百川發布的Baichuan2-192K通過算法和工程的極致優化，實現了窗口長度和模型性能之間的平衡，做到了窗口長度和模型性能的同步提升。
算法方面，百川智能提出了一種針對RoPE和ALiBi動態位置編碼的外推方案，該方案能夠對不同長度的ALiBi位置編碼進行不同程度的Attention-mask動態內插，在保證解析度的同時增強了模型對長序列依賴的建模能力。在長文本困惑度標準評測數據 PG-19上，當窗口長度擴大，Baichuan2-192K的序列建模能力持續增強。
（PG-19是DeepMind發布的語言建模基準數據集，是業內公認的衡量模型長程記憶推理問題的評測標準）
工程方面，在自主開發的分布式訓練框架基礎上，百川智能整合目前市場上所有先進的優化技術，包括張量並行、流水並行、序列並行、重計算以及Offload功能等，獨創了一套全面的4D並行分布式方案。該方案能夠根據模型具體的負載情況，自動尋找最適合的分布式策略，極大降低了長窗口訓練和推理過程中的顯存占用。
百川智能在算法和工程上針對長上下文窗口的創新，不僅是大模型技術層面的突破，對於學術領域同樣有著重要意義。Baichuan2-192K驗證了長上下文窗口的可行性，為大模型性能提升開拓出了新的科研路徑。
Baichuan2-192K現已正式開啟內測，以API調用的方式開放給百川智能的核心合作夥伴，已經與財經類媒體及律師事務所等機構達成了合作，將Baichuan2-192K全球領先的長上下文能力應用到了傳媒、金融、法律等具體場景當中，不久後將全面開放。
全面開放API之後，Baichuan2-192K便能夠與更多的垂直場景深度結合，真正在人們的工作、生活、學習中發揮作用，助力行業用戶更好的降本增效。Baichuan2-192K 能夠一次性處理和分析數百頁的材料，對於長篇文檔關鍵信息提取與分析，長文檔摘要、長文檔審核、長篇文章或報告編寫、複雜編程輔助等真實場景都有巨大的助力作用。
它可以幫助基金經理總結和解釋財務報表，分析公司的風險和機遇；幫助律師識別多個法律文件中的風險，審核合同和法律文件；幫助技術人員閱讀數百頁的開發文檔，並回答技術問題；還能幫助科員人員快速瀏覽大量論文，總結最新的前沿進展。
不僅如此，更長的上下文還為其更好的處理和理解複雜的多模態輸入，以及實現更好的遷移學習提供了底層支撐，這將為行業探索Agent、多模態應用等前沿領域打下良好技術基礎。