Mistral公布邊緣運算AI模型Les Ministraux

法國AI創業公司企業Mistral AI本周公布Les Ministraux，讓開發商及用戶可在筆記本或智慧型手機等邊緣設備上執行AI任務。

兩款新模型各名為Ministral 3B與Ministral 8B，合稱Les Ministraux，是為設備和邊緣應用場景開發的state-of-art模型。兩者支持128K脈絡長度（在vLLM框架上目前為32K），其中Ministral 8B還具有交錯滑動窗口（interleaved sliding-window）注意力模式，可支持更快、更省內存的推論作業。

該公司強調，二款新模型已在參數100億以下類別模型中，將知識、常識、函數調用及效率能力提升到新境界，可用於多種個人或企業應用，像是設備上翻譯、帶寬不佳地區的智慧助理、本地端分析或自主機器人。而若結合較大語言模型如Mistral Large，les Ministraux也能扮演多階段代理式工作流程的函數調用中介者角色，經微調後能根據用戶需求，在多種場景中處理輸入解析（input parsing）、任務路由或調用API，提供低成本及低延遲性的效益。

這家創業公司企業也比較了和市場上參數量相仿的知名模型的比較，顯示在知識與常識、程序撰寫、數學解題、以及多語能力，Ministral 3B超越Meta Llama 3.2 3B及Google Gemma 2 2B，Ministral 8B則大部分超過Meta Llama 3.1 8B以及自家的Mistral 7B，只在程序撰寫任務上小輸Llama 3.1 8B。

Mistral AI已通過Hugging Face公開Ministral-8B-Instruct-2410供研究用途，支持中文等10種語言。用戶必須輸入基本聯繫資訊換取授權。二款模型不久後將提供給雲計算合作夥伴。

由Mistral AI的la Platforme平台訪問模型的費用方面，Ministral 8B為輸入/輸出每百萬token 0.1美元，Ministral 3B為輸入/輸出每百萬token 0.04美元。Ministral 8B提供商用及研究授權，較小的Ministral 3B只提供商用授權。若企業開發商想自行部署可聯繫Mistral AI，企業會協助為特定應用場景無損縮減模型。