谷歌第六代Trillium TPU 開放企業用戶訓練AI模型
谷歌運算與AI基礎建設副總裁羅梅爾(Mark Lohmeyer)於Google Cloud官方部落格發文表示,谷歌自10年前便開始發展張量處理器(TPU),正好趕上近年興起的AI浪潮。
自從兩年前ChatGPT爆紅帶動生成式AI市場起飛之後,衆家科技公司爭相發展AI模型,而生成式AI也從純文字的單一模型,逐漸走向兼容語音及影像的多模態AI。
羅梅爾表示,多模態AI運算對當今AI基礎建設帶來新挑戰,因爲這類AI運算需要消耗更多的運算能力,因此,需要特殊硬體規格纔能有效進行AI模型訓練與AI推論。
羅梅爾表示,Google Cloud內建的AI超級電腦目前採用第六代Trillium TPU,不僅AI模型訓練能力是上一代的4倍,AI推論能力也是上一代的3倍,且節能效率較上一代提升67%。此外,第六代Trillium TPU對應的高頻寬記憶體(HBM)容量也是上一代的2倍。
第六代Trillium TPU如今已成爲Google Cloud企業用戶不可或缺的幫手。AI新創公司AI21 Labs技術長蘭茲(Barak Lenz)表示,公司自第四代Trillium TPU上線以來,便仰賴Google Cloud進行Mamba及Jamba兩大語言模型的訓練工作,如今第六代Trillium TPU無論在規模、速度及成本效率上都有大幅進步。