亞馬遜雲科技:Amazon EC2 P5e 實例正式可用
9月18日消息,亞馬遜雲科技宣佈由英偉達H200 GPU提供支持的 Amazon Elastic Compute Cloud P5e(Amazon EC2 P5e)實例現已正式可用。
據瞭解,亞馬遜雲科技是首個將英偉達H200 GPU用於生產環境的領先雲提供商。與基於英偉達H100 GPU的Amazon EC2 P5實例相比,Amazon EC2 P5e實例GPU內存容量提升1.7倍,GPU內存寬帶提升1.5倍。Amazon EC2 P5e非常適用於複雜的大型語言模型(LLM)和多模態基礎模型(FM)的訓練、微調和推理,用於支持最苛刻和計算密集型的生成式AI應用,如問答、代碼生成、視頻和圖像生成、語音識別等。
據悉,Amazon EC2 P5e實例提供8個英偉達H200 GPU,具有1128GB高帶寬GPU內存,同時提供第三代AMD EPYC處理器,2TB系統內存和30TB本地NVMe存儲。Amazon EC2 P5e實例還提供3,200 Gbps的聚合網絡帶寬並支持GPUDirect RDMA,從而能夠繞過CPU進行節點間通信,實現更低的延遲和高效的橫向擴展性能。
Amazon EC2 P5e實例現已可通過Amazon EC2 Capacity Block for ML工具訪問並在美國東部(俄亥俄州)區域正式可用。
此外,亞馬遜雲科技還宣佈,將推出Amazon EC2 P5en實例,通過將英偉達H200 GPU與定製的第四代英特爾Xeon可擴展處理器相結合支持PCle Gen5,將提供高達四倍的CPU和GPU之間的帶寬,降低網絡延遲,進一步提高工作負載性能。(鹹鹹)
本文來自本站科技報道,更多資訊和深度內容,關注我們。