OPPO 推出自主訓練大模型 AndesGPT，初衷是智能助手的技術升級

原標題：OPPO 推出自主訓練大模型 AndesGPT，初衷是智能助手的技術升級

作者 | 羅燕珊

11 月 16 日，在 2023 OPPO 開發者大會上，OPPO 正式推出了自主訓練的大模型 AndesGPT。

據介紹，AndesGPT 擁有對話增強、個性專屬和端雲協同三大技術特徵，對於大模型帶來的變革，OPPO 認為體現在四個方面：知識、 記憶、工具和創作。

• 在知識能力方面，AndesGPT 融合了知識圖譜及通用搜索能力，為用戶提供更專業的問答。通過知識增強技術，將外部知識與模型融合生成結果，降低幻覺。
• 在記憶能力方面，AndesGPT 實現長期記憶機制，以支持無限長度的上下文和有狀態服務。而長期記憶帶來首字推理延遲這個技術挑戰。為了解決該難題，OPPO 研發了一種注意力算 法命名為 SwappedAttention。SwappedAttention 能夠在多輪長上下文對話中，有效降低每個 query 的首字推理時長。其核心技術原理是，通過外部存儲和 KV 壓縮的方式實現會話級 KV 緩存。結合 PagedAttention 算法一起使用，能夠帶來 50% 的首字延遲降低，以及 30% 的推理吞吐提升。
• 工具使用也是 AndesGPT 一項核心能力，更好的理解設備控制與服務 API，端到端生成可執行指令。目前 AndesGPT 已支持使用系統設置、一方應用、三方服務、代碼解釋器等各類工具。
• 在創作方面，AndesGPT 已全面支持文生圖與圖生圖場景。

AndesGPT 主要訓練三種參數規格的模型——AndesGPT-Tiny、AndesGPT-Turbo 和 AndesGPT-Titan，可根據不同場景靈活選擇。AndesGPT 使用行業主流的網絡結構，主要做了兩個組合優化：

1. RoPE 位置編碼探索了 base 的最優值，結合 log-scale 和 attention 加 bias，擴展外推能力；
2. GQA 結合複雜移動窗口（Dilated Attention）加速了訓練和推理，實現了 O（Nd）的線性複雜度。

OPPO 數智工程事業部總裁劉海鋒在接受 InfoQ 採訪時表示，OPPO 做大模型的一個最基本的初衷就是升級智能助手產品，讓小布助手變得更有用更智能。「對於手機廠商或者智能終端廠商、本來就有智能助手的團隊來說，這個事兒是非常自然且水到渠成的，因為我們有現實的用戶的需求，有數據的積累，也有一些 knowhow 積累，那麼我們肯定要做技術升級。」

除了落地應用，OPPO 還在推進產學研聯合促進前沿技術研究。去年 OPPO 聯合中國科學技術大學成立的智能計算聯合實驗室，已將大模型技術作為核心研究方向。此外，OPPO 還和國內外超過 45 所重點院校建立了 AI 相關的合作。未來，AndesGPT 還將面向開發者開放核心的智能體開發平台。

點擊底部閱讀原文訪問 InfoQ 官網，獲取更多精彩內容！

今日好文推薦

突發！「ChatGPT 之父」Sam Altman 被開除，與董事會矛盾早有端倪？

好萊塢大導預測成真，Meta 讓 AI 「一句話生成一部電影」 不再是夢

ClickHouse 彪悍發言：雲數倉死貴死貴的，Snowflake 這種就不應該成為當前主流！

「谷歌有谷歌的規矩」