GPT-5攤上大問題：燒了數億美金後OpenAI發現牛吹早了

財聯社12月23日訊（編輯 馬蘭）OpenAI的GPT項目一直是業界最爲關注的話題，然而在該公司近期熱火朝天的宣傳之中，備受矚目的GPT-5卻消失無蹤。

去年11月，OpenAI首席執行官奧爾特曼曾強調，不會在2024年推出任何名爲GPT-5的模型。但知情人士透露，OpenAI最大投資者微軟曾預期在2024年年中時看到該模型。

有人還稱，距今爲止，該項目已經籌備超過18個月，總體而言，這個代號爲Orion的未來GPT-5模型的氣氛已不太友好。該模型已經進行了至少兩次大規模訓練，每次訓練都需要數月時間來處理大量數據，但每次訓練後都會出現新的問題。

瞭解該項目的人士還指出，Orion目前充其量只比OpenAI的公開模型要好一些，距離該公司所謂的“重大飛躍”還很遙遠，其也無法說服投資人投入目前的巨大成本。據估計，該模型爲期六個月的訓練僅在計算成本方面就“燒”了約5億美元。

危險的是，OpenAI在10月的最新估值達到1570億美元，受到了投資者的繼續追捧，但分析人士指出這一估值很大程度上基於奧爾特曼的樂觀預測，即GPT-5將在各類學科和任務上表現出博士水準，較目前GPT-4的高中生水平實現質的飛躍。

這意味着如果GPT-5不能在一個合理的時間內給出一個合理的亮相，那麼OpenAI的繁榮可能將如泡沫般被刺破，成爲反噬噩夢的開始。

數據“燃”盡

OpenAI原本的想法是，讓GPT-5有能力解鎖新的科學發現，並完成諸如預約或航班預定等類人類的決策行爲，且其犯錯的概率更小，或者至少對AI幻覺有所警惕。

但設想是設想，內部人士透露OpenAI的預期有些過於樂觀，僅在數據問題上，GPT-5就面臨着難以想象的挫折。

人工模型在訓練過程中需要不斷測試，可能持續很長一段時間。在此期間，模型將輸入數萬億個單詞片段，即所謂的token。而未來的人工智能模型吞噬token的數量將會是目前模型的十倍，甚至更多。

GPT-4的訓練就使用了大約13萬億個token，按照一千人每天協5000個單詞計算，這種規模的團隊在幾個月才能生產十億個token，而其花費據奧爾特曼稱超過1億美元。

因此GPT-5模型的最關鍵問題在於：數據不足。此前的模型使用的是新聞文章、社交媒體貼文和科學論文，但研究人員透露，公共互聯網上的數據已經不夠，他們需要更多樣且更高質量的數據，來讓GPT-5變得更加強大。

難以調頭

OpenAI目前的解決方案是從頭開始創建數據，如招聘人員編寫新的軟件代碼或解決數學問題，以供Orion學習。這些員工之中部分是軟件工程師，部分是數學家，必要時他們還需要向Orion解釋自己的工作。

還有一個方法是讓現有的人工智能創造數據來訓練Orion，比如OpenAI的o1。但研究人員又指出，用人工智能產出的數據餵給人工智能通常會引發故障或導致無意義的答案。

總之，在讓Orion變成名副其實的GPT-5的道路上，OpenAI已經感到心累，在實現質的飛躍之前，人工智能先倒在了量的累積上。更無奈的是，OpenAI今年持續的人才流失加深了這一困境。

從首席科學家Ilya Sutskever到首席技術官Mira Murati再到上週四辭職的知名研究員Alec Radford，OpenAI的各路大神紛紛離巢，這爲“難產”的GPT-5再添一層濃重的悲觀色彩。

遲遲看不到結果的GPT-5也難免被OpenAI內部的商業化項目，如Sora，爭奪走有限的計算資源。這同時也是一種警告，即Orion沒有多少從頭再來的機會，因爲OpenAI已經明確了其想要盈利的雄心。