微軟上線 Azure H200 v5 系列 AI 虛擬機(jī)：吞吐量提升 35%、HBM 帶寬 4.8 TB/s 提高 43%

　　微軟公司于 10 月 2 日發(fā)布博文，宣布面向客戶和合作伙伴，正式開放 Azure H200 v5 系列虛擬機(jī)，幫助企業(yè)應(yīng)對(duì)日益繁重的 AI 工作負(fù)載需求。

　　微軟在博文中表示：“H200 v5 系列虛擬機(jī)，通過(guò)規(guī)模、效率和增強(qiáng)性能等，推動(dòng)客戶和 Microsoft AI 服務(wù)(如 Azure 機(jī)器學(xué)習(xí)和 Azure OpenAI 服務(wù))普及和落地”。

　　OpenAI 的基礎(chǔ)設(shè)施負(fù)責(zé)人 Trevor Cai 表示，OpenAI 正在利用新的虛擬機(jī)系列推動(dòng)研究和開發(fā)，并為用戶微調(diào) ChatGPT。

　　Cai 表示：“我們很高興能夠采用 Azure 的新 H200 虛擬機(jī)。我們發(fā)現(xiàn) H200 在最小遷移工作下提供了更好的性能，我們期待使用這些虛擬機(jī)加速我們的研究，改善 ChatGPT 體驗(yàn)，并推動(dòng)我們的使命”。

　　Azure H200 v5 系列虛擬機(jī)采用微軟方案實(shí)現(xiàn)“增強(qiáng)效率和性能”，包括 8 個(gè)英偉達(dá) H200 Tensor Core GPU，解決了企業(yè)用戶在計(jì)算能力方面捉襟見肘的困境。

　　IT之家援引微軟官方新聞稿，Azure H200 v5 系列虛擬機(jī)在運(yùn)行 LLAMA 3.1 405B 模型推理工作負(fù)載時(shí)，吞吐量提升達(dá) 35%。

　　Azure ND H200 v5 系列虛擬機(jī)最高提供 141GB HBM，相比較上一代 *** v5 提高了 76%，此外帶寬為 4.8 TB/s，提高了 43%。