OpenAI前首席科學家伊利亞：數據沒有增長，預訓練將終結

OpenAI前首席科學家、 安全超級智能（Safe Superintelligence，SSI）公司聯合創始人伊利亞·蘇茨克維（Ilya Sutskever）日前罕見地公開露面，他在溫哥華神經信息處理系統大會（NeurIPS）上表示，雖然計算在增長，但數據卻沒有增長，預訓練毫無疑問會結束；並預測未來的人工智能系統將能夠以更類似於思考的方式逐步解決問題，具有推理能力的人工智能將更難以預測。

所謂“預訓練”，即使用大量未標記數據來訓練人工智能模型以理解語言模式和結構的階段。由於更多數據和算力，OpenAI在2022年推出了ChatGPT。伊利亞說，他的團隊在10年前探索過一個想法，即擴大數據規模以“預訓練”人工智能系統將使它們達到新高度，但這個想法開始達到極限，“預訓練毫無疑問會結束。”他表示，雖然計算在增長，但數據卻沒有增長，因爲我們只有一個互聯網。“我們已經達到了數據峰值，不會再有了。”

伊利亞曾擔任OpenAI首席科學家，今年早些時候，他從OpenAI辭職，隨後成立了SSI，今年9月SSI融資10億美元。此前，伊利亞也曾表示，擴大預訓練的結果已經達到了平臺期。“2010年代是規模擴大的時代，現在人們又回到了奇蹟和發現的時代。每個人都在尋找下一個東西。”

伊利亞提供了一些方法來突破這個難題。他表示，技術本身可以產生新的數據，人工智能模型可以在爲用戶確定最佳回答之前評估多個答案，以提高準確性。

他預測，下一代模型將“以一種真正的方式實現代理化（agentic）”，未來的系統除了具有自主性，還具有推理能力。據科技媒體The Verge報道，伊利亞表示，今天的人工智能主要是根據模型此前見過的內容進行模式匹配，未來的人工智能系統將能夠以更類似於思考的方式逐步解決問題。

另據路透社報道，伊利亞表示，AI智能體在未來將結出碩果，擁有更深入的理解和自我意識，人工智能將像人類一樣推理問題。不過，“它推理得越多，就越難以預測。”對數以百萬計的選項進行推理，可能會導致任何結果都不明顯。例如DeepMind開發的圍棋人工智能程序AlphaGo在2016年的一場比賽中擊敗了韓國棋手李世石，令人費解的第37步讓圍棋專家們感到驚訝。伊利亞表示，真正優秀的人工智能對於最優秀的人類棋手來說是不可預測的。