下一代人工智能超級計算機即將上線 將推動生成式AI大模型的發(fā)展

　　隨著 Cerebras、Inflection、亞馬遜和其他公司推出新硬件，下一代人工智能超級計算機將可用于新的生成式人工智能模型。

　　大型語言模型和其他類型的生成人工智能的使用正在迅速增長。通過ChatGPT、Bard、Copilot等，現(xiàn)在幾乎每個數(shù)字生態(tài)系統(tǒng)中都有聊天機器人，其中GPT-4等模型仍然處于領先地位。但下一代生成式人工智能模型即將出現(xiàn)。為了訓練這些復雜的人工智能系統(tǒng)，科技公司正在構(gòu)建新一代人工智能超級計算機。

　　Cerebras 推出2Exaflop 超級計算機

　　新一代的一個例子來自 Cerebras，該公司剛剛推出了其 Condor Galaxy1系統(tǒng)，具有2Exaflops 的能力。它僅用了10天就組裝完畢并投入運行，由32臺 Cerebras CS-2計算機組成。據(jù)該公司稱，Condor Galaxy 的規(guī)模有望在未來12周內(nèi)擴大一倍。它的所有者是 G42，一家總部位于阿布扎比的控股公司，擁有9家人工智能公司，其中包括中東最大的云計算提供商之一 G42Cloud。

　　在接下來的18個月內(nèi)，Cerebras 計劃安裝更多系統(tǒng)，以在9個安裝中達到36Exaflops。這將使其成為專注于人工智能工作負載的最大超級計算機之一。

　　云提供商提供對 Nvidia H100GPU 的訪問

　　除了 Inflection 之外，每個主要云平臺都推出了由 Nvidia H100GPU 提供支持的新實例。就在昨天，AWS 推出了 P5實例，最多可運行20，000個 H100GPU。Microsoft Azure、Google 和 Core Weave 提供類似的硬件。

　　通過輕松訪問擴展資源，開發(fā)人員可以快速構(gòu)建生成式 AI 應用程序原型，因為使用 Transformer 引擎的 H100的訓練時間可以大大減少。在 MLPerf 基準測試中，Core Weave 和 Nvidia 最近在不到11分鐘的時間內(nèi)在約3，500個 GPU 上訓練了一個具有1750億個參數(shù)的GPT-3模型。