國產模型指令跟隨全球第一！來自LeCun親推的最難作弊LLM新榜單

What？？？

一直低調行事的國內初創公司，旗下模型悄悄地躍升成國內第一、世界第五（僅排在o1系列和Claude 3.5之後）！

而且是前十名中的唯一一家國產公司。

（該榜上國產第二名是阿里開源的qwen2.5-72b-instruct，總榜第13）。

而且它登上的這個排行榜LiveBench，雖然現在還沒有大模型競技場（LMSYS Chatboat Arena）那麼廣爲人知，但資格槓槓的——

圖靈獎得主、Meta首席AI科學家楊立昆（Yann LeCun），聯合紐約大學等在今年6月推出。

號稱是“全球首個無法作弊的LLM基準測試”。

而這次冷不丁殺出來的黑馬，其實比較熟悉國內大模型競爭格局的朋友們已經猜到了——

Step系列，背後是大模型六小虎之一的階躍星辰。

在LiveBench榜單上，階躍星辰自研的萬億參數語言大模型Step-2-16k-202411在Global Average上拿下57.68分。

位列總榜第五、國產第一。

這個榜單之前出現頻率不高，一方面是它確實很新，今年6月纔剛推出；另一方面更加現實，那就是此前國產大模型並未在這個榜單塔尖取得傲人成績。

這倒也不耽誤榜單自身的實力——

LeCun和紐約大學等機構聯手推出，專爲大模型設計，目前包含6個類別的17個不同任務，每月更新新問題。

目標是確保榜單的問題不易受到污染 ，並且能夠輕鬆、準確、公平地進行評估。

強調不易受到污染，是因爲訓練數據中包含了大量互聯網內容，許多BenchMark很容易受到污染。

比如大家比較熟悉的數學測試集GSM8K，最近被證明有好些模型已經在它這兒過擬合了。這顯然爲評估模型能力帶來了困擾。

除了要小心BenchMark被污染，確保評估方式公平、無偏見也很重要。

一般來說，大家都採用的是LLM擔任評委或人類當裁判這兩種方式。而LiveBench選擇採用客觀、基本事實判斷來評估每個問題。

那麼，當我們首次正視這個榜單的時候，我們還能從其中看出些什麼？

先說成績出色的Step-2。

IF Average一項，也就是指令跟隨，它以最高分拿下全球第一。

這個項目的內容，是對《衛報》近期新文章進行改寫、簡化、總結或生成故事。

86.57這個成績是真的非常高——榜單上其餘衆人（哪怕是OpenAI和Anthropic家的模型們）都在70-80分段，單項第二名的Meta-LLaMA-3.1-405b-instruct-turbo比它低了8分多。

這意味着，Step-2在語言生成上對細節有強控制力，理解能力max，然後更好地遵循人類指令。

更具體些可以理解爲，當我們普通人輸入語句顛倒、語意不清、表意模糊的非專業·真普通·prompt時，Step-2能結合上下文、具體情境推斷使用者的具體需求，把一個模糊指令從“360p”進行“1080p”的理解，精準捕捉模糊指令背後的真實意圖。

同時意味着內容創作能力也很強，比如讓它創作一首古詩詞，它在字數、格律、押韻、意境等方面，都能有精準的把控。

在這次因爲LiveBench又出來炸場一波之前，Step-2留給外界的最深刻印象，一定有一個是“國內首個由初創公司推出的萬億參數大模型”。

這有點像階躍風格的具像化。在大模型六小虎中，階躍的Step系列發佈最晚，但出手毫不含糊。

今年3月，Step-2在全球開發者先鋒大會開幕式預覽亮相，一下子就從前作Step-1的千億參數規模，拉昇到了萬億參數規模。

吊足了胃口後，夏天的WAIC 2024期間，Step-2推出正式版。

模型採用了MoE架構。

一般而言，主流訓練MoE模型有兩種方式，不然就基於已有模型通過upcycle（向上複用）開始訓練，不然就從頭開始訓練。

Upcycle方式所需算力相對更低、訓練效率更高，但隨隨便便就到這種方式的天花板了。

比如基於拷貝複製得到的MoE模型，非常容易出現專家同質化嚴重的情況。

而選擇從頭開始訓練MoE模型的話，能夠探得更高的模型上限，但作爲代價，訓練難度也會增大。

但階躍團隊還是選擇了後者，選擇完全自主研發，選擇從頭開始訓練。

過程中，通過部分專家共享參數、異構化專家設計等創新MoE架構設計，Step-2這個混合專家模型中的每個專家都得到了充分訓練。

故而，Step-2總參數量達到萬億級別，每次訓練或推理所激活的參數量也超過了市面上的大部分Dense模型。

此外，Step-2的訓練過程中，階躍的系統團隊突破了6D並行、極致顯存管理、完全自動化運維等關鍵技術，支撐起了整個模型的高效訓練。

初亮相時，階躍官方表示：

結合這次LiveBench AI的成績來看，團隊對Step-2的定位、優勢所在，把握得很清晰。

基座模型技術能力強，關鍵是要讓人用起來才行。

官方消息是，Step-2已經接入了階躍星辰的C端智能生活助手「躍問」，Web端和App都可以試一把。

如果是開發者，可以在階躍星辰開放平臺通過API接入使用Step-2。

開篇咱們提到，Step模型是一個系列，而Step-2是其語言模型的實力代表。

在這個系列中，除了語言模型，階躍星辰的多模態模型也很有看頭。

Step-1.5V是階躍星辰的多模理解大模型，這款模型在三個方面優勢突出：

一是感知能力。創新的圖文混排訓練方法，讓Step-1.5V能理解複雜圖表、流程圖、準確感知物理空間複雜的幾何位置，還能夠處理高分辨率和極限長寬比的圖像。

二是推理能力。根據圖像內容進行各類高級推理任務，如解答數學題、編寫代碼、創作詩歌等。

三是視頻理解能力。它不僅能夠準確識別視頻中的物體、人物和環境，還能夠理解視頻的整體氛圍和人物情緒。

生成方面，階躍手裡有Step-1X圖像生成大模型。

Step-1X採用DiT（Diffusion Models with transformer）架構，有600M、2B和8B三種不同的參數量，語意理解和圖像創意實現兩手抓。

具體而言，不管文本指令簡單還是複雜，不管是畫單一對象還是多層次、複雜內涵場景，它都能cover。

另外，該模型還支持針對中國元素的深度優化，使生成內容更適合國人的審美風格。

至於語言模型和多模態模型全都要，階躍有自己的道理。

從成立一開始，階躍星辰就明確了自身通往 AGI 的路線圖：

單模態——多模態——多模態理解和生成的統一——世界模型——AGI。

換言之，階躍的目標是開發出能夠實現AGI的多模態大模型，並利用這些自主研發的大模型，創造新一代的AI應用。

爲着這個目標，這一年多來，階躍已經寫下了屬於自己的答案。

研發迭代速度很快，不到一年，無論Step-1到Step-2， 還是Step-1V到Step-1.5V，整體持續跑步前進中。

產品也有自己的想法，沒有侷限在ChatBot上。Step-2登頂國內的同一天，階躍旗下的躍問還上了一個新功能：

簡單設置，就能通過iPhone 16右下方側邊的“相機控制”按鈕，一鍵調用“拍照問”功能。

沒有iPhone 16的蘋果用戶，把系統升級到iOS18也能一步調用國產AI 了。

雖然已經在六小虎中佔據一席，但近日看階躍，仍然想以黑馬來形容它。

論技術和實力，Step-2能突然殺到業界權威榜單國內第一，成爲全球榜單前十唯一國產玩家。

大模型浪潮奔騰至今，已經有快兩年的時間了。

兩年裡，投身其中的技術從業者們都在（看似分佈其實共同）打造一個願景，一個許多人都願意參與並與之聯繫在一起的願景。

有理由相信，階躍Step系列，以及中國的大模型們，都會因爲卓越的技術實力和不懈的創新追求，越來越熠熠生輝。

上個月，智源研究院推出辯論平臺FlagEval Debate，旨在通過引入模型辯論這一競爭機制對大模型能力評估提供新的度量標尺。

和大模型競技場玩法有點類似，就是倆模型一個正方一個反方，雙盲測試，辯論完後用戶投票。

然後才揭曉正反雙方都是誰。

模型辯論，主要靠的是信息理解、知識整合、邏輯推理、語言生成和對話能力。

當然了，同時還能測複雜語境中信息的處理深度和遷移應變能力，反映其學習與推理的進步水平。

淺玩了一下，有些議題還蠻有意思。

比如“博物館着火，只能救一個，救貓還是救《蒙娜麗莎》”這個議題。

倆模型吵到後面，“貓有九條命”的話都說出來了，笑死。

最後反覆投了幾次，Step-2大勝o1。

看來它辯論能力也很強呀……

榜單官網：https://livebench.ai/#/blog

躍問鏈接：https://yuewen.cn

FlagEval Debate官網：https://flageval.baai.org/#/debate