英偉達宣布創(chuàng)造滿血DeepSeek-R1模型AI推理性能的紀錄

　　英偉達在今日舉行的 NVIDIA GTC 2025 上宣布其 NVIDIA Blackwell DGX 系統(tǒng)創(chuàng)下 DeepSeek-R1 大模型推理性能的世界紀錄。

　　據(jù)介紹，在搭載了八塊 Blackwell GPU 的單個 DGX 系統(tǒng)上運行 6710 億參數(shù)的滿血 DeepSeek-R1 模型可實現(xiàn)每用戶每秒超 250 token 的響應速度，系統(tǒng)最高吞吐量突破每秒 3 萬 token。

　　英偉達表示，隨著 NVIDIA 平臺繼續(xù)在最新的 Blackwell Ultra GPU 和 Blackwell GPU 上突破推理極限，其性能將會繼續(xù)不斷提高。

　　英偉達表示，通過硬件和軟件的結合，他們自 2025 年 1 月以來成功將 DeepSeek-R1 671B 模型的吞吐量提高了約 36 倍。

　　與 Hopper 架構相比，Blackwell 架構與 TensorRT 軟件相結合可實現(xiàn)顯著的推理性能提升。

　　英偉達表示，包括 DeepSeek-R1、Llama 3.1 405B 和 Llama 3.3 70B，運行 TensorRT 軟件并使用 FP4 精度的 DGX B200 平臺與 DGX H200 平臺相比已經(jīng)提供了 3 倍以上的推理吞吐量提升。

　　英偉達表示，在對模型進行量化以利用低精度計算優(yōu)勢時，確保精度損失最小化是生產(chǎn)部署的關鍵。在 DeepSeek-R1 模型上，相較于 FP8 基準精度，TensorRT Model Optimizer 的 FP4 訓練后量化(PTQ)技術在不同數(shù)據(jù)集上僅產(chǎn)生微乎其微的精度損失。