全球最大AI超算內部首次曝光！馬斯克19天神速組裝10萬塊H

新智元報道

編輯：靜音

【新智元導讀】一文揭秘全球最大AI超算，解析液冷機架和網絡系統的創新設計。這臺全球最大AI超算Colossus由xAI和英偉達聯手建造，耗資數十億，10萬塊H100僅半個多月搭建完成，未來規模還將擴大一倍！

兩個月前，馬斯克纔剛剛自曝了xAI的Colossus超算，稱其是世界上最強大的AI訓練系統。

最近，馬斯克又宣佈了一條振奮人心的消息——集羣即將擴展到20萬張H100/H200顯卡！

同時，ServeTheHome也發佈了一條15分鐘的視頻，公佈了這臺超算的詳情！

來自ServeTheHome的Patrick Kennedy帶着攝影機探訪了這臺超級計算機

這臺全球最大的AI超級計算機Colossus位於美國田納西州孟菲斯，配備了10萬個英偉達Hopper GPU，並由英偉達Spectrum-X以太網提供網絡傳輸支持。

目前，Colossus的第一階段建設已完成，集羣全面上線，但這並不是終點。它將很快迎來升級，GPU容量將翻倍，新增5萬塊H100 GPU和5萬塊下一代H200 GPU。

Colossus正在用於訓練xAI的Grok，併爲X Premium訂閱用戶提供聊天機器人功能。

在訓練超大規模的Grok時，Colossus展現了前所未有的網絡性能。在網絡結構的所有層級中，系統在流量衝突的情況下沒有經歷任何應用延遲降級或數據包丟失。

通過Spectrum-X擁塞控制，它保持了95%的數據吞吐量。這種性能水平無法通過標準以太網實現，標準以太網在傳輸中會產生數千次流量衝突，數據吞吐量僅能達到60%。

由於保密協議的限制，這臺超級計算機的一些細節並沒有透露。不過，像Supermicro GPU服務器等關鍵部件的介紹在視頻中都有所涉及。

液冷機架

Colossus集羣的基本構建單元是Supermicro液冷機架。

每個機架包含八臺4U服務器，每臺服務器配備八個英偉達H100，共計64個GPU。

八臺此類GPU服務器再加上一個Supermicro冷卻分配單元（CDU）及相關硬件，構成了一個GPU計算機架。

這些機架以八臺爲一組排列，共512個GPU，並通過網絡連接，形成更大系統中的小型集羣。

xAI使用的是Supermicro 4U通用GPU系統。

這是目前市面上最先進的AI服務器，有2個原因：其一是它的液冷程度；其二是設備的可維護性。

該系統被放置在托盤上，無需將系統從機架中移出即可維護。1U機架分流器可爲每個系統引入冷卻液並排出溫熱液體。快速斷開裝置讓液冷系統可以迅速移除，甚至可以人工單手拆裝；移除後，托盤即可拉出以便維護。

下圖是一張該服務器原型的照片，展示了這些系統的內部構造。

SC23展示的Supermicro 4U通用GPU系統：支持液冷英偉達HGX H100和HGX 200

上圖SC23原型中的兩個x86 CPU液冷模塊相對常見。

特別之處在於右側：Supermicro的主板集成了幾乎所有HGX AI服務器中使用的四個Broadcom PCIe交換機，而非將其單獨安裝在另一塊板上。Supermicro爲這四個PCIe交換機設計了定製液冷模塊。

其他AI服務器通常是在風冷設計的基礎上加裝液冷，而Supermicro的設計則完全從零開始，爲液冷而打造，且所有組件均來自同一供應商。

打個通俗的比方，這類似於汽車——有些車型先設計爲燃油車，之後再安裝電動動力系統，而有些車型從一開始就是爲電動車設計的。這款Supermicro系統就屬於後者，而其他HGX H100系統則屬於前者。

Patrick怒讚道：測評了各種各樣的液冷系統設計，這款Supermicro系統遙遙領先於其他系統！

網絡系統

這裡的每條光纖連接速率爲400GbE，是常見1GbE網絡速率的400倍。此外，每個系統擁有9條這樣的連接，意味着每臺GPU計算服務器的帶寬達到約3.6Tbps。

打個比方，如果1GbE的普通家庭網絡好比是一條單車道公路，那這個400GbE就像是一條擁有400車道的高速公路。而每個系統有9條這樣的「高速公路」，相當於每臺GPU計算服務器擁有9條這樣的超寬帶公路，總帶寬達到3.6Tbps。

文章轉載:[ighx.yangcass.com）

這個帶寬甚至超過了2021年初頂級Intel Xeon服務器處理器在所有PCIe通道上所能處理的連接總量。

文章轉載:[eqz.yaanznjj.com）

GPU的RDMA網絡構成了該帶寬的大部分。每個GPU都有自己的NIC。

文章轉載:[aaj.xuyuantong.com）

在這裡，xAI使用英偉達BlueField-3 SuperNIC和Spectrum-X網絡。英偉達的網絡堆棧中加入了一些獨特技術，可以幫助數據繞過集羣中的瓶頸，確保數據準確地傳輸到指定位置。

文章轉載:[wkbe.xingyue777.com）

這是一個重大突破！許多超級計算機網絡使用的是InfiniBand或其他技術，而這裡採用的是以太網。

文章轉載:[suly.xb7878.com）

以太網是互聯網的骨幹，因此它具有極強的擴展性。這些龐大的AI集羣已擴展到一些更小衆技術未能觸及的規模。對於xAI團隊而言，這確實是一個大膽的舉措。

文章轉載:[oe.wei573.com）

除了GPU的RDMA網絡外，CPU也配備了400GbE連接，但使用完全不同的交換結構。xAI爲其GPU和集羣的其餘部分分別配置了獨立的網絡，這在高性能計算集羣中是非常常見的設計。

文章轉載:[ko.wegou365.com）

除了高速集羣網絡外，還有低速網絡用於管理接口和環境設備，這些都是此類集羣的重要組成部分。

文章轉載:[gyff.uxblox.com）

參考資料：

文章轉載:[ciy.uketom.com）

https://www.servethehome.com/inside-100000-nvidia-gpu-xai-colossus-cluster-supermicro-helped-build-for-elon-musk/3/

文章轉載:[ysit.tongshengfa.com）