微軟上線 Azure H200 v5 系列 AI 虛擬機：吞吐量提升 35%、HBM 帶寬 4.8 TB/s 提高 43%

　　微軟公司于 10 月 2 日發(fā)布博文，宣布面向客戶和合作伙伴，正式開放 Azure H200 v5 系列虛擬機，幫助企業(yè)應(yīng)對日益繁重的 AI 工作負載需求。

　　微軟在博文中表示：“H200 v5 系列虛擬機，通過規(guī)模、效率和增強性能等，推動客戶和 Microsoft AI 服務(wù)(如 Azure 機器學習和 Azure OpenAI 服務(wù))普及和落地”。

　　OpenAI 的基礎(chǔ)設(shè)施負責人 Trevor Cai 表示，OpenAI 正在利用新的虛擬機系列推動研究和開發(fā)，并為用戶微調(diào) ChatGPT。

　　Cai 表示：“我們很高興能夠采用 Azure 的新 H200 虛擬機。我們發(fā)現(xiàn) H200 在最小遷移工作下提供了更好的性能，我們期待使用這些虛擬機加速我們的研究，改善 ChatGPT 體驗，并推動我們的使命”。

　　Azure H200 v5 系列虛擬機采用微軟方案實現(xiàn)“增強效率和性能”，包括 8 個英偉達 H200 Tensor Core GPU，解決了企業(yè)用戶在計算能力方面捉襟見肘的困境。

　　IT之家援引微軟官方新聞稿，Azure H200 v5 系列虛擬機在運行 LLAMA 3.1 405B 模型推理工作負載時，吞吐量提升達 35%。

　　Azure ND H200 v5 系列虛擬機最高提供 141GB HBM，相比較上一代 *** v5 提高了 76%，此外帶寬為 4.8 TB/s，提高了 43%。