邁出“登月”第二步:Kimi比肩OpenAI o1最新技術,楊植麟聚焦做減法
正如這家公司的名字一般,月之暗面,總是一個令人好奇的存在。11月16日下午,在Kimi Chat上線一週年之際,公司創始人楊植麟罕見現身,在多家媒體面前走出了“登月”第二步。
“如果說長文本是月之暗面‘登月’的第一步,那麼提升模型深度推理能力則是第二步。”身穿一件黑色公司文化衫的楊植麟發佈了新一代數學能力可對標OpenAI o1系列的數學推理模型k0-math。
當新模型在衆人面前進行數學題“測試”時,這位原本略顯羞澀的90後“創業明星”終於來到了自己的主場,看着數字、公式一行行地彈出,興奮地講解着其中的原理。
據介紹,該款模型是Kimi推出的首款推理能力強化模型,採用了全新的強化學習和思維鏈推理技術——這與楊植麟對行業技術發展的判斷方向一致,“接下來最重點的東西會在強化學習上,範式上會產生變化,它還是Scaling(擴展),只是通過不同的方式去Scale”。
在k0-math的表現方面,月之暗面方面披露,在中考、高考、考研以及包含競賽題的MATH等數學基準測試中,k0-math初代模型成績已經超過o1-mini和o1-preview模型。
“(k0-math的發佈)大概率能說是,在OpenAI o1發佈後,國內首個摸索出並實現o1思路的公司。”一位國內頭部互聯網公司的大模型技術人員在接受《每日經濟新聞》記者採訪時表示,“現在國內想要趕超o1的大模型團隊都會以數學領域爲第一步,因爲不需要大量的標註數據,成本最低,而且有可驗證的標準答案。”
月之暗面的下一步是什麼?“Kimi目前最核心的任務是提升留存。”楊植麟在接受《每日經濟新聞》記者採訪時表示,“基本上它跟你的技術成熟度或者技術水平也是一個正相關的關係,所以對我們當前來說是最重要的。假設我們以最後AGI這個目標作爲衡量,我覺得現在還在初級階段。”
發佈會數據顯示,截至今年10月,Kimi的月活已超3600萬人,而且數據在持續增長。
發佈會現場 圖片來源:公司提供
“接下來重點在強化學習”,Kimi發佈對標o1系列數學模型
發佈會上,月之暗面公佈了k0-math的目前測評得分:在業界最常使用的數學能力基準測試MATH中,k0-math模型得分93.8分,超過o1-mini的90分和o1-preview的85.5分,且k0-math這一成績僅次於o1完全版的94.8分。
“什麼樣的場景最適合讓AI鍛鍊思考能力?我們認爲是數學場景。”發佈會現場,楊植麟表示,在訓練該模型的過程中,最重要的是看其是否真正具備深度思考的能力。
據介紹,相較於以儘快提供答案爲關鍵目標的常規模型,k0-math模型在做題過程中會花更長的時間來推理,包括思考和規劃思路,並且在必要時自行反思改進解題思路,提升答題的成功率。
不過,楊植麟也指出,雖然k0-math模型擅長解答大部分很有難度的數學題,但是當前版本還無法解答LaTeX格式難以描述的幾何圖形類問題。此外,它可能會存在對“1+1=?”這樣過於簡單的數學問題進行過度思考,對於高考難題和IMO(國際數學奧林匹克競賽試題)依然有一定概率做錯、猜答案之類的侷限性。
根據月之暗面的介紹,k0-math模型採用了全新的強化學習和思維鏈推理技術,這也是業內普遍認爲OpenAI o1系列的技術關鍵所在,行業範式也在因此發生着改變。
“AI的發展就像盪鞦韆,我們會在兩種狀態之間來回切換:有時候,算法、數據都很ready了,但是算力不夠,我們要做的就是加算力;但今天我們發現,不斷擴大算力規模已經不一定能直接解決問題了,所以這時就需要通過改變算法,來突破這個瓶頸。”楊植麟表示。
對於業內對Scaling Law(規模定律)逐漸放緩的看法,楊植麟認爲,預訓練還有空間,大概半代到一代的模型,這個空間會在明年釋放出來,“明年,我覺得領先的模型會把預訓練做到一個比較極致的階段”。
“但我們判斷,接下來最重點的東西會在強化學習上,就是範式上會產生一些變化。本質上,它還是Scaling,並不是不用Scale,只是說你會通過不同的方式去Scale,這是我們的判斷。”他表示。
同時,他指出,該數學推理模型的推出,一方面在教育產品、Kimi整體的流量裡有非常大的價值;另一方面,該模型上的技術可以放在更多場景裡,比如讓Kimi探索版去做更多的搜索。
“最核心的是提升留存”,Kimi選擇做減法
在今年6月的一次媒體採訪中,楊植麟多次以“聚焦”作爲對創業思路、成功經驗的迴應,“在技術和產品上可能我們都希望更加聚焦”,“因爲你如果什麼東西都做了,可能最後也很難做好”。
不久前,有消息稱月之暗面幾位出海產品負責人已於近期離職創業。此外,今年9月,月之暗面決定停止更新兩款已上線的出海產品——Ohai和Noisee,暫時收縮了出海to C應用。
在發佈會現場,楊植麟間接回應了上述市場傳言:“我們沒有人才流失,我們主動做了業務減法。”
這一思路的確定在今年春天,楊植麟觀察了月之暗面的具體發展並對美國市場進行了判斷,得出結論:的確得做減法,而不是瘋狂做加法。
“我們一開始嘗試過幾個產品一塊做,這在一定時期內奏效,但後來發現,這樣就活生生把自己變成大廠了,沒有任何優勢。”楊植麟將鎖定“聚焦”視爲過去一年較大的課題,“砍業務本質上也是在控制人數。這幾個大模型創業公司裡,我們始終保持人數最少,始終保持(顯)卡和人的比例最高,這非常關鍵。我們不希望團隊擴那麼大,(擴大)對創新有致命性傷害。另外我們也會根據美國市場的情況,判斷哪個業務做大的概率更高。”
聚焦Kimi,當下楊植麟認爲最爲核心的任務是什麼?他在接受《每日經濟新聞》記者採訪時給出了答案:提升留存,“(令自己滿意的留存)永無止境”。
“因爲留存是技術成熟的重要指標,並且(現在的留存)還有非常大的提升空間。我們的模型能力跟產品指標是高度相關的。”他解釋,“目前我們的模型可能思考能力還不夠強,交互還不夠豐富,我們把這些東西做得更好之後,留存會進一步上升。”
第三方機構QuestMobile發佈的《中國移動互聯網2024年秋季報告》顯示,截至2024年9月AIGC App月度活躍用戶同比增長393.9%,豆包、文小言、Kimi智能助手App月活用戶分別達到4197.6萬人、1191.5萬人和1024.8萬人,活躍用戶3日留存率分別爲39.1%、31.2%和32.2%。
在發佈會上,楊植麟表示,截至2024年10月,Kimi的月活已超3600萬人,而且數據在持續增長。
在行業的多模態進展方面,界面新聞曾報道,Runway聯合創始人曾在11月9日公開表示,OpenAI計劃在大約兩週內發佈Sora。
對此,楊植麟透露,內部幾個多模態的能力在內測,“關於多模態,我覺得AI接下來最重要的是思考和交互這兩個能力。思考的重要性遠大於交互,不是說交互不重要,我覺得思考會決定上限,交互是一個必要條件,比如說vision(視覺)的能力,如果沒有vision的能力沒法做交互”。
在Open AI出新牌後,Kimi又一次成爲國內第一個“跟牌者”,在這場焦灼的牌局中,楊植麟和月之暗面拿出了留到最後的野心。