OpenAI、谷歌、Anthropic新模型遇瓶頸：缺數據、成本高、性能不及預期
智東西編譯 汪越編輯 Panken
智東西11月14日消息，據彭博社報道，據知情人士透露，OpenAI的最新模型Orion在開發過程中未能達到預期的性能，特別是在編碼任務上未能超越前代產品GPT-4；谷歌的Gemini模型同樣未能實現重大突破；Anthropic的Claude 3.5 Opus模型因技術難題推遲了發佈計劃，並多次調整發布時間。
▲主要AI模型發佈日期（圖源：彭博社）
過去，行業普遍奉行Scaling Law，認爲隨着數據量和算力的增加，模型性能也應隨之提升。基於這一理論，這些公司紛紛投入巨資，建設AI基礎設施，擴展數據中心，併購買大量GPU進行訓練。然而，隨着訓練速度的放緩，繼續依賴這一策略的可行性開始遭遇質疑。
近年來，OpenAI、谷歌和美國AI大模型獨角獸Anthropic在極短的時間內推出了大量複雜的AI模型。然而，隨着高質量數據的短缺，這些公司在模型開發的速度和性能上出現了明顯放緩，甚至未能達到預期的效果。
OpenAI CEO薩姆·阿爾特曼（Sam Altman）兩週前談道，未來的突破可能不會是模型規模的單純擴展，而是開發新的應用和用例，例如AI Agent。
一、大模型遭遇平臺期，數據和算力是瓶頸
OpenAI、谷歌和Anthropic這三家公司在構建新一代AI系統時，都面臨了相似的問題：高質量數據，特別是編碼數據，愈發難以獲得。在這種情況下，即使是微小的改進，也很難證明新模型所需的巨大研發投入是合理的。
近期的困難表明，單純依賴規模擴展已難以帶來預期的技術飛躍。對於實現AGI（通用人工智能）的可行性，業內的信心也開始動搖。
AI初創公司Hugging Face首席倫理科學家瑪格麗特·米切爾（Margaret Mitchell）談道，AGI的“泡沫”正在破裂，現有的訓練方法可能無法滿足AI在多任務處理上的需求，急需全新的訓練方法來應對這一挑戰。
▲AI初創公司Hugging Face 首席倫理科學家瑪格麗特·米切爾 （Margaret Mitchell） （圖源：彭博社）
目前，OpenAI仍在對Orion進行“後訓練”，並嘗試通過加入人類反饋來改進其表現。但Orion的正式發佈尚無明確時間表，預計不太可能在明年初推出。
谷歌DeepMind迴應稱，雖然Gemini模型的進展符合預期，但公司表示會在準備好時分享更多細節。OpenAI則拒絕置評。Anthropic方面，CEO達里奧·阿莫迪（Dario Amodei）在播客中說，Scaling Law並非宇宙法則，而是經驗規律，雖然“很多因素”可能影響AI的發展，但他對克服這些障礙依然保持樂觀。
▲Anthropic CEO達里奧·阿莫迪（Dario Amodei）（圖源：彭博社）
隨着社交媒體帖子、在線評論、書籍及其他公共數據來源的消耗，AI公司面臨着前所未有的高質量數據短缺問題。爲了構建超越人類的AI系統，這些公司所需的數據不僅僅是維基百科和YouTube字幕等基礎數據，更多的是廣泛且高質量的數據集。
以OpenAI爲例，儘管公司已與出版商簽署協議，確保其數據來源的高質量，但隨着AI技術的不斷進步，出版商和藝術家對內容的知識產權保護愈加嚴格，這也加大了AI公司面臨的法律壓力。爲了彌補數據不足，許多公司開始招聘具有研究生學歷的人，特別是在數學和編碼領域，以便更精確地標註和訓練與特定學科相關的數據，使得AI系統能夠更好地響應專業領域的查詢。
但是，這一過程的進展緩慢且成本高昂。與通過網絡抓取大量公開數據相比，獲取並標註專業領域的高質量數據的成本顯著增加。同時，爲了填補數據缺口，許多公司也開始嘗試使用合成數據，如計算機生成的圖像和文本。不過，這種方法依然面臨諸多挑戰，特別是在確保數據質量和多樣性方面。
美國風險投資公司New Enterprise Associates的AI戰略主管莉拉·特列蒂科夫（Lila Tretikov）談道，數據問題不僅僅關乎數量，更關乎質量和多樣性。缺乏人工指導，尤其是在語言處理領域，將難以獲得獨特且高質量的數據集。
二、“越多越好”不再奏效，AI公司抉擇兩難
許多AI公司堅持“越多越好”的策略，投入大量資源，以期打造接近人類智能的AI系統。但隨着計算資源和數據的成本不斷上升，新模型開發的風險和期望也在持續增加。Anthropic CEO阿莫迪在播客中透露，預計今年公司將花費1億美元來訓練尖端模型，未來幾年這一數額可能達到1000億美元。
隨着成本的不斷攀升，許多人開始對AI模型進展的速度產生疑慮。馬薩諸塞州沃爾瑟姆本特利大學數學副教授諾亞·吉安西拉庫薩（Noah Giansiracusa）談道，雖然AI模型會持續改進，但增長速度和技術突破的持續性值得懷疑。短期內快速的技術進展令人振奮，但這種增長模式是不可持續的。
硅谷的AI技術進步困境已經成爲焦點問題。今年3月，Anthropic發佈了Claude Opus模型，曾宣稱其在推理和編碼等領域超越了OpenAI的GPT-4和谷歌的Gemini模型。然而，到10月，Opus的發佈消息突然從公司網站消失了。
據知情人士透露，Anthropic在Opus的開發過程中遇到了不少挑戰。雖然Opus在某些基準測試中表現優異，但考慮到其龐大的模型規模及其構建和運行的高成本，最終未能達到預期的性能。即便如此，Anthropic CEO阿莫迪表示並未放棄繼續推進Opus模型，只是未給出具體的發佈時間。
與此同時，谷歌和OpenAI也面臨類似的難題。雖然谷歌更新了Gemini模型，提供了更實用的功能，但並未帶來重大的技術突破。OpenAI專注於增量更新，比如提升語音助手功能，使得與ChatGPT的對話更加流暢。OpenAI還推出了名爲o1的模型預覽版，旨在提升推理過程的質量，但技術突破依然有限。
隨着開發新一代AI模型的成本不斷增加，AI公司開始面臨一個重要的權衡：是繼續改進現有的模型，還是投入更多資源開發更大、更復雜但未必能帶來顯著突破的下一代模型。
OpenAI CEO薩姆·阿爾特曼（Sam Altman）最近在Reddit的問答中談道，雖然公司擁有豐富的潛力和資源，但也面臨着“艱難的決定”和“計算能力的限制”。他還談道，未來的突破可能不會是模型規模的單純擴展，而是開發新的應用和用例，例如AI Agent，這類工具能夠代表用戶完成常規任務。
在此背景下，OpenAI的重心逐漸從提升模型的單一能力轉向更具實用價值的應用場景，尤其是在代理AI工具方面的探索。阿爾特曼談道，這些AI工具將幫助用戶完成日常生活中的複雜任務，如預訂航班、發送電子郵件等。雖然AI模型將繼續變得更強大，但未來的真正突破或許不再是單純的模型更新，而是更爲創新的功能和應用。
結語：創新AI應用成未來方向
這些公司在模型研發上投入了鉅額資金和計算資源，但新一代AI模型的性能提升遠未達到預期。在日益增加的成本壓力下，如何平衡創新與投入成爲了共同挑戰。
隨着數據和計算資源逐漸稀缺，AI發展的“規模革命”正接近瓶頸。未來的突破或許不再集中在模型規模的擴張，而是聚焦於創新的應用和工具開發，比如AI Agent等功能型應用，如何將現有技術在實際生活中發揮更大價值，將成爲行業創新的關鍵。
來源：彭博社