MiniMax發佈abab大模型:6.51秒內可處理近3萬字文本

4月17日消息,MiniMax宣佈 正式推出abab 6.5系列模型。是繼今年1月推出國內首個基於MoE架構的abab 6之後的又一力作。該系列模型在MoE(Mixture of Experts)架構上進行了深度優化,是MiniMax加速 Scaling Laws 過程的階段性成果。

abab 6.5系列包括abab 6.5和abab 6.5s兩個模型,均支持200k tokens的上下文長度,其中abab 6.5擁有萬億參數,而abab 6.5s在保持相同訓練技術和數據的基礎上實現了更高的效率,能夠在1秒內處理近3萬字的文本。

該萬億 MoE 模型 abab 6.5, 在各類核心能力測試中,abab 6.5 開始接近 GPT-4, Claude 3 Opus, Gemini 1.5 Pro 等世界上最領先的大語言模型。在業界標準的開源測試集的測試中,將abab 6.5在知識、推理、數學、編程、指令遵從等多個維度上與行業領先模型進行了比較,並在200k token的“大海撈針”的891次測試中,均準確回答。

MiniMax計劃將abab 6.5和abab 6.5s滾動更新到旗下產品,包括生產力產品海螺AI和MiniMax開放平臺。(王曉捷)