騰訊發布開源MoE大語言模型Hunyuan-large，總參數398B為業內最大

鈦媒體App 11月5日消息，騰訊發布開源MoE大語言模型Hunyuan-large，總參數398B為業內最大，激活參數量52B。公開測評結果顯示，騰訊混元Large在CMMLU、MMLU、CEval、MATH等多學科綜合評測集以及中英文NLP任務、代碼和數學等9大維度全面領先，超過Llama3.1、Mixtral等一流的開源大模型。據了解，該模型在技術創新上可實現高質量合成數據，通過使用合成數據增強訓練，有效應對自然數據的不足。在上下文處理能力方面，預訓練模型支持高達256K的文本序列，顯著增強了處理長上下文任務的能力。

同時，騰訊混元宣布，為填補行業真實長文評測集不足，騰訊混元即將開源企鵝捲軸評測集助力業界應用研究。自研企鵝捲軸(PenguinScrolls)基於公開金融、法律、學術論文等多種自然長文本，長度範圍達1K-128K，覆蓋各種深度閱讀理解、長文推理任務。