AI造芯Nature論文遭圍攻，谷歌發文硬剛學術抹黑！Jeff Dean怒懟：你們連模型都沒訓

新智元報道

編輯：alan

【新智元導讀】近日，面對EDA界對於自家AlphaChip的質疑，谷歌首席科學家Jeff Dean以論文迴應論文，並表示：大家注意，這是同行競爭！

登上了Nature的「超人」芯片設計系統AlphaChip，卻多次遭到質疑。

而且不是簡單說說而已，做實驗、寫論文，還有一篇作爲invited paper發在ISPD 2023。

AlphaFold都拿諾獎了，AlphaChip還擱這闢謠呢？

怎麼辦？谷歌首席科學家Jeff Dean表示：我也寫篇論文！

論文地址：https://arxiv.org/pdf/2411.10053

Jeff Dean認爲，這種毫無根據的懷疑，在很大程度上是由下面這篇文章（「一篇存在嚴重缺陷的未經同行評審的論文」）導致的：

論文地址：https://arxiv.org/pdf/2302.11014

Jeff Dean等人還回應了Igor Markov（Synopsys的傑出架構師）在 CACM 2024年11月刊上發表的分析文章。

論文地址：https://cacm.acm.org/research/reevaluating-googles-reinforcement-learning-for-ic-macro-placement/

Jeff Dean表示，Markov發論文時妹說自己是Synopsys的高級員工，——Synopsys是商業EDA軟件，而AlphaChip是開源的。

Markov的論文分析中還引用了另一篇沒發表的匿名PDF：

https://statmodeling.stat.columbia.edu/wp-content/uploads/2022/05/MLcontra.pdf

這實際上也是Markov寫的。

谷歌的回擊

話說在arxiv上吃瓜，小編還是第一次。

在Introduction部分，谷歌拉了個時間表：

簡單來說，我AlphaChip已經在自家服役這麼長時間了，聯發科也用了，Nature也調查過了，無懈可擊。

而且作爲不同的部門，TPU團隊需要足夠的信任纔會使用AlphaChip（優於人類專家、高效且可靠），他們不能承擔不必要的風險。

對於反方的Markov，論文評價道：「Markov的大部分批評都是這種形式：在他看來，我們的方法不應該奏效，因此它一定不起作用，任何表明相反的證據都是欺詐。」

說到欺詐這件事，正反方都談到了內部舉報人（whistle-

blower），在Markov的文章中是這樣記載的：

而本文表示：這位舉報人向谷歌調查員承認，他懷疑這項研究是欺詐性的，但沒有證據。

對錯誤論文的逐條迴應

沒有預先訓練RL方法

與以前的方法不同，AlphaChip是一種基於學習的方法，這意味着它會隨着解決更多的芯片放置問題而變得更好、更快。

這是通過預訓練實現的，如下圖2所示，訓練數據集越大，放置新區塊的方法就越好。

相反，Cheng等人根本沒有進行預訓練（沒有訓練數據），這意味着模型以前從未見過芯片，必須學習如何從頭開始爲每個測試用例執行佈局。

作者在Nature論文中詳細討論了預訓練的重要性，並實證證明了它的影響。例如下圖3表明，預訓練可以提高放置質量和收斂速度。

在開源的Ariane RISC-V CPU上，非預訓練的RL需要48小時，才能接近預先訓練模型在6小時內可以產生的值。

在Nature論文中，作者針對主數據表中的結果進行了48小時的預訓練，而Cheng等人預訓練了 0 小時。

「Cheng試圖通過暗示我們的開源存儲庫不支持預訓練，來爲他們缺乏預訓練找藉口，但這是不正確的，預訓練就是在多個樣本上運行方法。」

使用的計算資源減少了一個數量級

在Cheng等人的論文中，RL方法提供的RL體驗收集器減少了20倍（26個對比512個），GPU數量減少了一半（8個對比16個）。

使用較少的計算可能會損害性能，或者需要運行相當長的時間才能實現相同的性能。

如下圖4所示，在大量GPU上進行訓練可以加快收斂速度併產生更好的最終質量。

RL方法未訓練到收斂

隨着機器學習模型的訓練，損失通常會減少，然後趨於平穩，這代表「收斂」——模型已經瞭解了它正在執行的任務。

衆所周知，訓練到收斂是機器學習的標準做法。

但如下圖所示，Cheng等人沒有爲任何一個進行收斂訓練，

下表總結了詳細信息。除了沒有提供圖的BlackParrotNG45和Ariane-NG45，其他四個具有收斂圖的塊（Ariane-GF12、MemPool-NG45、BlackParrot-GF12 和 MemPool-GF12），訓練在相對較低的步數（分別爲 350k、250k、160k 和 250k 步）處截止。

如果遵循標準的機器學習實踐，可能會提高這些測試用例的性能。

不具代表性、不可重現

在Nature論文中，作者報告的張量處理單元（TPU）塊的結果來自低於7nm的技術節點，這是現代芯片的標準制程。

相比之下，Cheng等人採用了舊技術節點尺寸45nm和12nm）的結果，這從物理設計的角度來看有很大不同。

例如，在低於10nm時，通常使用multiple patterning，導致在較低密度下出現佈線擁塞問題。因此，對於較舊的技術節點大小，AlphaChip可能會受益於調整其獎勵函數的擁塞或密度分量。

AlphaChip的所有工作都是在7nm、5nm和更新的工藝上進行的，作者沒有專注於將其應用於舊工藝製程的設計。

此外，Cheng等人也無法或不願意分享在其主數據表中複製結果所需的綜合網表。

參考資料：

https://x.com/JeffDean/status/1858540085794451906