月之暗面楊植麟:提升深度推理能力是AI產品的下一個重點
“如果說長文本是月之暗面登月的第一步,那麼提升模型深度推理能力則是第二步。”11月16日,正值月之暗面Kimi Chat向全社會開放服務一週年之際,月之暗面創始人楊植麟接受了包括澎湃科技在內的媒體採訪。他認爲AI產品包括AI技術接下來發展的重要能力應是更加深度的推理能力,能夠把現在只是短鏈路的簡單問答,變成更長鏈路的組合式的任務操作。
據介紹,月之暗面在未來一兩週內將上線新一代數學推理模型k0-math,對標OpenAI o1系列可公開使用的兩個模型:o1-mini和o1-preview。目前,在中考、高考、考研以及包含入門競賽題的MATH等4個數學基準測試中,k0-math初代模型成績超過了OpenAI o1系列的o1-mini和o1-preview模型。在兩個難度更大的競賽級別的數學題庫OMNI-MATH和AIME基準測試中,k0-math初代模型的表現分別達到了o1-mini最高成績的90%和83%。
楊植麟表示,數學產品是最適合讓AI鍛鍊思考能力的場景,數學模型在教育產品上也有非常大的價值。
自從兩年前ChatGPT發佈後,通過增加更多數據和計算能力來“擴大”當前模型,便能持續改進模型的能力,即所謂的Scaling law(尺度定律)幾乎成爲業內共識。但日前OpenAI原首席科學家伊利亞·蘇茨克維(Ilya Sutskever)公開表示,擴大預訓練的結果已經達到了平臺期,“2010年代是規模擴大的時代,現在人們又回到了奇蹟和發現的時代。每個人都在尋找下一個東西。”
在楊植麟看來,AI的發展就像在盪鞦韆,在兩種狀態之間來回切換,“一種是算法、數據準備好了,但算力不夠。”他認爲,從Transformer架構誕生到GPT4的出現,更多的矛盾在於如何擴大規模(Scale),在算法和數據上不存在本質問題。但是到了今天,規模已經到達了一定的程度,會發現再加更多的算力,也不一定能解決問題,其中核心問題是沒有高質量的數據。這時要做的事便是改變算法,突破瓶頸。現在這是他所在的公司乃至整個行業都面臨的共同問題。“好的算法能夠釋放Scaling的潛力,讓模型持續變得更好。”他認爲,強化學習是接下來很重要的一個趨勢。
但楊植麟也認爲當下預訓練還有空間,“半代到一代的模型,這個空間明年會釋放出來,明年我覺得領先的模型會把預訓練做到極致,但接下來最重點的東西會在強化學習上,但它還是Scale,只是用不同的方式去Scale。”
針對近期國內開始出現了一些AI創業公司被收購、人才迴流大廠的現象,楊植麟表示,這是一個必然的規律,說明行業發展到了新的階段,“一開始很多公司在做,現在只有少數公司在做,接下來可能大家做的東西也會逐漸不一樣,我覺得這是一個可能必然的規律。”
楊植麟還透露,從今年上半年開始,月之暗面開始縮減業務,聚焦Kimi,“我們一開始確實也嘗試過幾個產品一起做,但到後來發現還是要聚焦,把一個產品做到極致是最重要的,砍業務本質上也是爲了控制人數,不希望人數增長太快,我們始終保持卡和人的比例是最高的,團隊擴大對於創新也有致命的傷害。”當下,月之暗面最核心的任務就是提升用戶留存率。
月之暗面成立於2023年4月,法定代表人楊植麟畢業於清華大學。據瞭解,該公司打造的對話式AI助手產品Kimi上線一年以來,每月用戶量達到了3600萬人。