英偉達(dá)發(fā)布AI芯片H200：性能飆升90%，Llama 2推理速度翻倍

　　11月14日消息，英偉達(dá)北京時(shí)間13日發(fā)布了下一代人工智能超級計(jì)算機(jī)芯片，這些芯片將在深度學(xué)習(xí)和大型語言模型(LLM)方面發(fā)揮重要作用，比如 OpenAI 的 GPT-4。

　　新芯片相比上一代有了顯著的飛躍，將被用于數(shù)據(jù)中心和超級計(jì)算機(jī)，處理諸如天氣和氣候預(yù)測、藥物發(fā)現(xiàn)、量子計(jì)算等任務(wù)。

　　此次發(fā)布的關(guān)鍵產(chǎn)品是基于英偉達(dá)的“Hopper”架構(gòu)的 HGX H200 GPU，是 H100 GPU 的繼任者，也是該公司第一款使用 HBM3e 內(nèi)存的芯片，這種內(nèi)存速度更快，容量更大，因此更適合大型語言模型。

　　英偉達(dá)稱：“借助 HBM3e，英偉達(dá) H200 以每秒 4.8 TB 的速度提供 141GB 的內(nèi)存，與 A100 相比，容量幾乎是其兩倍，帶寬增加了 2.4 倍。”

　　在人工智能方面，英偉達(dá)表示，HGX H200 在 Llama 2(700 億參數(shù) LLM)上的推理速度比 H100 快了一倍。HGX H200 將以 4 路和 8 路的配置提供，與 H100 系統(tǒng)中的軟件和硬件兼容。

　　它將適用于每一種類型的數(shù)據(jù)中心(本地、云、混合云和邊緣)，并由 Amazon Web Services、Google Cloud、Microsoft Azure 和 Oracle Cloud Infrastructure 等部署，將于 2024 年第二季度推出。

　　英偉達(dá)此次發(fā)布的另一個(gè)關(guān)鍵產(chǎn)品是 GH200 Grace Hopper“超級芯片(superchip)”，其將 HGX H200 GPU 和基于 Arm 的英偉達(dá) Grace CPU 通過該公司的 NVLink-C2C 互連結(jié)合起來，官方稱其專為超級計(jì)算機(jī)設(shè)計(jì)，讓“科學(xué)家和研究人員能夠通過加速運(yùn)行 TB 級數(shù)據(jù)的復(fù)雜 AI 和 HPC 應(yīng)用程序，來解決世界上最具挑戰(zhàn)性的問題”。

　　GH200 將被用于“全球研究中心、系統(tǒng)制造商和云提供商的 40 多臺 AI 超級計(jì)算機(jī)”，其中包括戴爾、Eviden、惠普企業(yè)(HPE)、聯(lián)想、QCT 和 Supermicro。

　　其中值得注意的是，HPE 的 Cray EX2500 超級計(jì)算機(jī)將使用四路 GH200，可擴(kuò)展到數(shù)萬個(gè) Grace Hopper 超級芯片節(jié)點(diǎn)。