Scaling Law失效，AI泡沫底層邏輯崩了？
那麼多顯卡的訂單，那麼高AI企業的估值，似乎都成了覆巢之下的鳥卵。
風大浪高，點擊卡片，關注防迷路
誰能想到，讓美國AI神話，數十萬億的估值，碰到存亡危機的，竟然不是大選選上來的特朗普和他不靠譜的政策。
昨天，著名科技媒體The Information發表了一篇可能動搖了整個AI圈估值邏輯的文章。
這篇名爲《 OpenAI Shifts Strategy as Rate of ‘GPT’ AI Improvements Slows》的文章指出了一個重大的問題，Scaling Law可能失效了。
所謂 Scaling Law，簡單講就是“縮放定律”，是指系統或過程在不同尺度下表現出相似或相同行爲的規律。OpenAI四年前曾經發布過一篇論文，模型的性能會隨模型參數量、數據量、計算資源增加而指數提升。
這個定律對現在的生成式大模型AI來說，至關重要。只要Scaling Law 還成立，那麼大模型的能力就可以伴隨着堆更多的算力、搞更多的參數，喂更多的數據來實現最終的通用人工智能AGI。
這個對AI圈的估值，極端重要。因爲畢竟AI圈現在幾十萬億的估值，英偉達3.6萬億人類歷史上最昂貴公司的加碼，可不是現在幾個AI聊天機器人或者視頻圖畫生成工具能支撐的，這裡邊可都包含了對通用人工智能AGI的預期。
如果Scaling Law不再成立，通過單純放大模型，增加算力不能到達AGI，那麼那麼多的cuda顯卡的訂單，那麼高AI企業的估值，可就要付之東流了。美國21世紀最大的生產力革新點，美國唯二超過中國的科技制高點，可就成了明日黃花。
決不能出問題的Scaling Law，似乎出了問題。
碰上了天花板
在AI狂飆開始的2021年，就有人提出，Scaling Law可能有上限。但是隨着chatGPT 2.0 3.0 3.5的不斷迭代和技術飛躍， Scaling Law的正確性深入人心。
直到ChatGPT 4.0 把人類現存的數據全部吃完。我們似乎碰上了天花板。
最直接的結果就是人工智能旗艦OpenAI的進步速度，停止了。
根據The Information 給出的信息，OpenAI下一代ChatGPT 5的訓練出現了重大瓶頸。他們公佈的大模型GPT Orion，能力上升的很快，大約只用了20%的訓練量，就達到了ChatGPT 4的水平，但OpenAI的研究者發現，後邊增加訓練量，GPT Orion的水平提升卻很慢很微小。
在文本處理上新模型 表現的確更好一點，但在編碼等任務上可能還沒法無法超越之前的模型。
結果就是，在吃掉人類互聯網上所有數據之後，GPT Orion的水平，並沒有比ChatGPT 4o高太多，遠不及ChatGPT 2到ChatGPT3，或者ChatGPT 3.5到ChatGPT 4的那種飛躍。這導致OpenAI的下一代AI，GPT Orion沒法被命名爲ChatGPT 5。
爲了突破數據用光的問題，OpenAI只能使用通過AI自己生產的“合成數據”來訓練新的模型。
結果就是新模型用上老模型生產的合成數據，行爲模式和性能表現變得跟老模型極其相似，甚至老模型出現的那些AI幻覺，也都全繼承了下來。
Garbage in Garbage out。使用成本暴漲，性能提升微小，甚至最有價值的編程能力還劣化了，今年5月，Altman曾告訴員工，他預計下一代Orion很可能會比一年前發佈的最後一個旗艦產品模型顯著提升，可這個Orion表現，卻遠未達到目標。
這導致OpenAI開始脫離真正AI智能的提升，反而追求一些“奇技淫巧”的應用，比如讓現有的AI模型來控制操作系統，模擬人的操作。
這就好比菊花廠不去搞科技基座和芯片突破，學起電商公司搞社區團購了。
這個Scaling law的天花板，不光OpenAI撞上了，其他各家也都是類似的情況。
OpenAI之外，谷歌的大模型 Gemini 2.0，暴力推模型規模的臉書LLama 3.x，Anthropic的Opus 3.5模型似乎都碰上了大規模提升token數量，但性能沒有提升的問題。
OpenAI前CTO，ChatGPT的締造者，Ilya Sutskever作爲大模型scaling law的提出者和最早暴力scaling大力出奇跡的開拓者，最近在路透社的採訪中表示，擴大 訓練的性能提升，已經趨於平穩。 也就是說，用大量未標記數據來理解語言模式和結構的訓練階段到頭了。暴力擴大規模的老方法失效了，他離開OpenAI之後，準備尋找一種新的替代方法
谷歌研究院和約翰霍普金斯大學在最新的論文中指出：對於潛在擴散模型，模型不一定是越大越好。
“2010年代是scaling的時代，現在，我們再次回到了奇蹟和發現的時代。每個人都在尋找下一個奇蹟。”
俄裔科學家Ilya纔是創造ChatGPT的那個人，Altman不過是不那麼懂技術的前臺商人。現在前臺商人把後臺科學家趕走了，創始團隊所有技術大佬全逼跑了，只剩兩個負責商務的，OpenAI真的能再創奇蹟？
幕後的投資人們似乎也焦慮起來。
OpenAI股東，硅谷AI投資大佬 Ben Horowitz在最近一次YouTube直播中提到，GPU的性能在不斷提升，幾萬幾十萬張gpu的集羣規模也在指數提升。這背後是投資人投資規模的暴力提升和資金的巨量燃燒。但模型的性能卻沒有響應的提升。GPT Orion的成本可能是上一代ChatGPT 4o的6倍倒30倍，但性能提升卻遠遠沒有反映出成本的上升。
超大規模語言模型的ROI實在已經低到讓人髮指的程度，同時幾十萬張顯卡同時工作幾個月，投入數千萬甚至上億美元訓練一次（1.8萬億參數的ChatGPT 4 訓練一次約6300萬美元），結果卻不見得能比之前的模型強多少，這投資故事難以繼續下去了。
OpenAI之所以不open，不是爲了保護人類不被AI毀滅，而是因爲他們構建的大模型是可複製的，互聯網大廠及AI頭部初創企業，都會有能力構建出超越GPT-4的大模型。
投資人焦慮了，問題大條了。畢竟幾千億幾萬億的估值，還得他們真金白銀的支撐。
OpenAI倒也沒有坐以待斃。他們一方面組織了一個叫做foundation的小組，專門負責解決訓練數據用完的問題。另一方面，他們採用了所謂數據鏈推理模型。
用老模型生成合成數據訓練新模型，新模型越來越像老模型
在新的Orion模型上，除了堆砌訓練量，OpenAI找到了一個所謂新的scaling law齒輪。除了在訓練模型上大力磚飛，也在模型推理上投入更多資源。
“僅需20秒的推理時間便能提升模型性能，效果相當於對模型進行10萬倍的擴展和更長時間的訓練”
這就是新的思維鏈模型。
但這裡就出現了一個問題，所謂一下子可以考慮兩萬步的思維鏈模型，本質依靠的是模型本身產生出多個結果，然後從中選出最佳的那個，從而提升模型的能力。
那以後大模型可能就不是最佳的方案，一個尺寸合適的模型配上更多的推理時間可能效果更好。結果就是對於大規模預訓練集羣的需求下降，而分佈式的、基於雲的推理服務器的需求上升。
結果就是在訓練集羣有cuda護城河的英偉達可以一家獨大，真的變成訓練和推理二分天下的時候，在推理市場並沒有那麼強的英偉達可就要吃癟了。比如TPU、LPU，可能就比GPU更高效。
事實上，根據 臺積電最新的財報，其10月銷售額同比增29.2％，較9月近40%的增幅大幅放緩，爲2月以來最低增速。彭博文章指出，臺積電10月的銷售數據對人工智能芯片需求的持久力敲響了警鐘。
英偉達成敗與否，還能說肉爛在鍋裡（Groq也是美國企業）。但另一個成本問題可能更加棘手。
大模型的智能發展停滯了，但大模型的推理成本上升可是非常迅速，O1的推理成本達到了ChatGPT 4的25倍以上，100次推理成本高達42美元。幾乎是已經用不起的模型了。
和人類思維水平相當的計算量大概是 10^35 FLOP ，也就是要在當前最大模型的基礎上額外增加 9 個數量級的計算能力。就算未來我們能通過硬件和算法進一步優化，9 個數量級的提升真的可能嗎？成本和電力真的夠支撐這麼巨大的模型嗎？
不管從哪個角度看，AI發展的基石，Scaling Law似乎都出了大問題。
覆巢之下，安有完卵？scaling law倒下來，一切都要重估。
風大浪高，有些不方便說的，可以點擊下邊卡片移步可以留言的小號聊一聊，也可關注筆者微博賬號 @躺平學副教授