開源版OpenAI再出「神作」，小模型吊打Llama 3！Ministral系列問世，邊緣AI革命開啓

新智元報道

編輯：桃子

【新智元導讀】Mistral 7B誕生一週年之際，法國AI初創公司Mistral再次連發兩個輕量級模型Ministral 3B和Ministral 8B，性能趕超Llama 3 8B。

Mistral 7B僅僅發佈一週年，法國AI初創小模型「les Ministraux」就打敗它了。

它堪稱是，世界上最好的邊緣模型。

Ministral 3B和Ministral 8B這兩款輕量級模型，專爲邊緣設備打造。

截至目前，它們正式加入Mixtral、Pixtral、Codestral、Mathstral行列，成爲Mistral一員。

別看僅有30億參數，在指令跟隨基準上，完全超越了Llama 3 8B，以及前輩模型Mistral 7B。

而且Ministral 3B和Ministral 8B在大模型競技場中的測試，均拿下了媲美Gemma 2、Llama 3.1開源模型的成績。

世界上最好的邊緣模型

Ministral 3B和Ministral 8B都支持高達128k上下文（目前在vLLM上爲32k）。

在知識、常識、推理、函數調用、效率等方面，爲低於10B參數模型設立了新標杆。

而且，Ministral 8B還有配備了滑動窗口注意機制（sliding-window attention），以實現更快和內存高效的推理。

不論是管理複雜的AI智能體工作流，還是創建專門的任務助手，它們均可以被微調到各種用例中。

趕超開源模型，擊敗Mistral 7B

研究人員在多項基準測試中，評估了Les Minimrau的性能。

其中包括知識與常識、代碼、數學、多語言四大方面。

預訓練模型

如下圖所示，與Gema 2 2B、Llama 3.2 3B相比較，Minstral 3B在以上基準上，取得了最優成績。

在與Llama 3.1 8B、Mistral 7B相比較過程中，僅有代碼能力，Minstral 8B還有些差距，其餘放方面均是性能最高的模型。

如下是，更加直觀可視化柱狀圖，Minstral 8B在各項評測中，佔據首位。

指令模型

再來看微調後的指令模型，性能比較的結果。

在大模型競技場中，Minstral 3B在不同基準上，實現了最優。Minstral 8B僅在Wild bench上，略遜於Gema 2 9B。

另外，在代碼、數學、函數調用方面，兩款新模型性能大幅超越其餘模型。

下圖，可以直觀看出指令微調後的Minstral 3B比更大的Mistral 7B的改進。

如下是指令微調後的Minstral 8B模型，與其他模型的性能對比直觀圖。

邊緣計算皆可用，0.1美金百萬token

如今，大模型在實際落地中，不如小模型來的更切實際。

越來越多的用戶，希望對關鍵應用程序能夠進行本地優先推理，比如設備上翻譯、不用聯網智能助理，自動機器人等等。

正如官博所述，Les Minimraux正爲這些場景，提供了高計算效率、低延遲的解決方案。

當與Mistral Large等更大的模型結合使用時，les Ministraux還可以作爲多步智能體工作流中，進行函數調用的高效中介。

通過微調，它們能以極低的延遲和成本基於用戶意圖，跨多個上下文處理輸入解析、任務路由和調用API。

價格

根據官方公佈的價格所示，Minstral 8B輸入輸出價格爲百萬token，0.1美元。Minstral 3B則爲百萬token0.04美元。

開源版OpenAI，不再Open

自去年成立以來，Mistral曾以磁力鏈方式開源了多款媲美OpenAI的模型，一路走紅得到AI社區的認可。

這家總部位於巴黎的Mistral，由Meta、谷歌DeepMind前員工創立。

幾個月前，它以60億美金估值，完成6.4億美元新一輪融資，並隨之推出了一款GPT-4級別的模型——Mistral Large 2。

此外，他們在今年，還推出了一個專家混合模型Mixtral 8x22B。

它包含了一個編碼模型Codestral，以及一個數學推理和科學發現的模型。

不過，今年這家明星公司陷入了巨大爭議，因爲它變得不再那麼open。

年初，有消息爆料稱，微軟宣佈將收購Mistral一些股份，並對其投資，意味着它的模型將在Azure AI進行託管。

甚至，還有Reddit網友發現，Mistral已從官網中，移除了致力於開源的承諾。

在一些模型的調用上，Mistral也開啓了收費模式，包括這次同樣如此。

有網友就此吐槽，不是開源的。

要知道，對於一家初創公司來說，一直堅持開源代碼是一個巨大的挑戰。

就比如反面教材Stability AI，完全放棄了開源的商業模式，也轉向了收費策略。

對於Mistral也是如此，若要持續打造優秀的模型，只有這一種選擇。

參考資料：

https://x.com/dchaplot/status/1846575384718172448

https://x.com/GuillaumeLample/status/1846566817650679966