大模型激戰半年:王小川進擊、王慧文退場,騰訊字節姍姍來遲

本文來源:時代財經 作者:謝斯臨

國產通用大模型的混戰遠未結束。在半年左右的蟄伏期過後,大部分玩家都浮出了水面。

在這之中,有人加速迭代。8月8日,由搜狗搜索創始人王小川創立的百川智能發佈了旗下第三款大模型產品Baichuan-53B,背後訓練參數高達530億。此時距離王小川宣佈進軍大模型戰場不過4個月的時間,這家創業公司進展神速。

這還只是一個開始,百川智能方面向時代財經透露,後續還會有多款產品發佈,包括規模更大、參數超千億的大模型。

也有人黯淡退場。由美團聯合創始人王慧文創立,吸引源碼資本、五源資本等知名VC機構,以及美團創始人王興、快手創始人宿華等互聯網大佬投資的光年之外,曾一度被市場認爲是國內大模型戰場上最強有力的玩家之一。

然而,隨着6月下旬王慧文因健康問題離崗退出,無法繼續執掌光年之外,這家備受期待的大模型創業公司只能賣身美團,一衆投資人也隨之退股。

還有人另闢蹊徑。AI大牛周明創立的瀾舟科技,強調輕量化模型,希望用更低的成本解決B端場景問題。而曾幫助谷歌將BERT模型的訓練時間從3天降到76分鐘的新加坡國立大學校長青年教授尤洋,則成立了潞晨科技,試圖用低成本訓練大模型的解決方案突圍。

相比之下,大廠自研的大模型則姍姍來遲。直到8月初,騰訊自研的混元大模型和字節打造的AI對話類產品Grace才先後傳出內測消息,具體面世時間仍未可知。

同樣停留在測試階段的,還有李開復創立的AI 2.0企業“零一萬物”。在7月3日舉辦的對外交流會上,李開復透露,該公司在三個月內已實現百億參數規模的模型內測,目前正向300億—700億參數規模擴大。不過,該產品至今仍未向市場開放。

這些仍未發佈的大模型產品將爲科技行業帶來什麼樣的改變,值得市場期待。從這個角度來看,這場混戰或許還要持續很久。

進擊的王小川

由王小川創立的百川智能,正以其驚人的產品發佈速度吸引市場的關注。

在其4月宣佈下場做大模型後,僅用了兩個月零五天的時間,就在6月15日發佈70億參數開源大模型Baichuan-7B。不到一個月時間,又發佈了130億參數開源大模型Baichuan-13B。

8月8日發佈的Baichuan-53B,已經是這家大模型創業公司半年內發佈的第三款產品,百川智能進展神速。

百川智能相關負責人回覆時代財經表示,公司在創立之前就已經花了很多時間做前期準備,開始就把路線和方法想得比較清楚。

其指出,做大模型都會考慮三個層面:數據、算法和算力。拋開算力不說,做搜索的公司天然有優秀的數據能力,百川智能的核心團隊此前已經做了20年的數據抓取、抽取、清洗、去重、反垃圾等操作,可以更快拿到高質量數據集。

而算法是以自然語言處理爲中心,將算法工程進行迭代,不是單一的工程問題,而是在文本數據驅動下,算法和工程共同運行。此前在搜索領域積累的經驗在這裡也能很好地發揮作用,利用數據評價推動模型進步。

“有了之前多年的技術和經驗積累,百川智能做大模型產品的速度纔會又快又好。”

不過,在發佈會上,王小川亦指出,當下國產通用大模型仍處在一個分型復刻的階段。各家廠商基本都在對標OpenAI,不可避免地會出現同質化的問題。

正因如此,在他看來,與美國閉源大模型的頭部格局已定的情況不同,“中國誰的大模型最好”現在並沒有結論。在這場混戰之中,錢是重要的,但最終決定的力量還是人和團隊、組織能力。大廠錢多、人多、算力多,但組織效率通常不一定夠好,創業公司的組織效率可能好,也可能不好。

“大家都在爭取機會,而且不一定落在大廠裡。”

王小川還在採訪中談及退場的王慧文。其指出,王慧文是國內幾個主流做大模型裡唯一一個沒有強勢技術背景的,對他的挑戰比其他家要大。工作中要做大量的技術決策,招什麼人、走什麼技術路線圖、需要多少計算資源,一定會面臨非常多的決策壓力。

“不是做大模型壓力大,是沒有技術背景做決策壓力會大很多。但是技術足夠的話,其實挺愉悅的。”

騰訊、字節姍姍來遲

大模型混戰開啓之初,互聯網大廠因爲坐擁更多算力、人才、資金和數據,被認爲是強大的競爭對手。

百度自研的文心一言早在今年3月底就已率先落地;阿里打造通義千問緊隨其後,在4月11日舉辦的阿里雲峰會上揭曉。就在阿里發佈通義千問的前一天,王小川纔剛剛宣佈下場,成立百川智能。

相比之下,同爲一線大廠的騰訊跟字節,推出通用大模型的步調要慢許多。

8月3日,據36kr報道,騰訊自研的 “騰訊混元大模型”已經進入應用內測階段。三天後,8月6日,字節旗下的AI對話類產品Grace也被爆出歷經兩個月的研發後,終於進入測試階段。

此時距離百度發佈文心一言已經過去4個月。對於騰訊通用大模型產品步調稍慢的原因,馬化騰曾公開表示,“騰訊也一樣在埋頭研發,但是並不急於早早做完,把半成品拿出來展示。”

不過,“並不着急”的騰訊,還是在今年6月中旬率先公佈了“行業大模型”的路線,一口氣拋出10大行業超過50個解決方案。無獨有偶,字節跳動也同樣在6月發佈大模型服務平臺“火山方舟”,通過集成多家AI科技公司及科研院所的大模型,向企業提供全方位的平臺服務。

市場曾一度認爲,行業大模型將成爲這兩家大廠突圍的方法。

但事實或許並非如此。當下被鼓吹的行業大模型始終存在着被替代的風險。科大訊飛總裁吳曉如曾向時代財經指出,10年前,在語音識別技術上,也曾誕生過諸多聚焦在通話、行車、辦公等不同場景的專用模型,但隨着通用模型技術的成熟,專用模型也隨之退場。

“我認爲大模型也會經歷一樣的階段。”

相比之下,從更長遠角度看,通用大模型才真正代表着一個平臺級或顛覆性的大機會。正是因此,騰訊和字節都不可能放任自己錯過,哪怕進度緩慢,但它們必定要堅持在場。

有騰訊內部人士向時代財經指出,騰訊的計劃一直是兩條腿走路,通用和行業齊頭並進。只是與一些激進的廠商相比,旗下產品涵蓋社交、遊戲、廣告、內容創作等多個領域的騰訊,要更爲謹慎一些。

學院派創業者另闢蹊徑

在大模型戰場上,來自高校、研究機構的學院派創業公司組成了競爭的第三極。

它們既不是王小川、王慧文這樣的種子選手,在創業之初就能憑藉人脈吸引到數億美元的投資,並以此迅速起步。也不像騰訊、阿里、百度這樣的大廠,在算力、人才、資金等各個方面都佔據難以逾越的優勢。

但憑藉着他們對於人工智能技術的深度理解,這些創業者仍然能在夾擊之下,另闢蹊徑找到新的發展方向。

比如由原微軟亞洲研究院副院長周明創立的瀾舟科技,不同於市面上一衆追逐千億乃至萬億參數的大模型產品,這位從1980年就開始研究NLP(自然語言處理)的華人AI大牛希望以更輕量級模型解決B端場景的問題。

其推出的孟子大模型曾以十億參數,刷新此前被百億、千億級別參數模型輪番霸榜的中文語言理解權威評測基準 CLUE 榜單。

這是一項務實的決策。出於數據安全考慮,絕大部分企業都不會將數據上傳,而是會要求本地化部署,成本因此被顯著拉高。在接受媒體採訪時,周明指出,哪怕只是本地部署推理,拿訓練好的大模型來用,千億參數大模型也需要8到16塊 A100,換算下來至少是一兩百萬元的投入,“對很多場景來說,客戶需要便宜和夠用”。

由新加坡國立大學校長青年教授尤洋創立的潞晨科技,則希望利用算法技術降低大模型的調用成本。

現如今,無論是大廠,還是創業公司,都必須面對國產大模型同質化趨勢愈發明顯的問題。如果這一問題不被解決,未來大模型極有可能陷入當下雲服務廠商面臨的低毛利困境。

尤洋對時代財經表示,這是因爲底層技術基座迭代成本過於高昂。他以GPT舉例,OpenAI每一次的訓練成本高達6000萬美元,每隔三四個月就需要訓練一次,迭代一次則需要四五次訓練。以此計算,每迭代一次技術基座可能需要2億到3億美元。

過於高昂的成本導致市場上的技術基座極其稀缺。基本上只有GPT、LLAMA,還有國內的GLM。各家廠商基本都是在模仿這幾家大模型做產品,才導致了同質化的問題愈發凸顯。

長期研究高性能計算的尤洋因此成立了潞晨科技。該公司目前推出的開源系統Colossal-AI 可通過高效多維並行、異構內存等技術,顯著降低AI大模型訓練、微調和推理的開發與應用成本。

尤洋認爲,只有伴隨大模型訓練成本快速下降,或者採取更好的優化技術,使得參數控制在200億左右,還依然能夠達到和千億參數一樣的效果時,纔會真正迎來大模型百花齊放的那一天。