美光已開始出樣業(yè)界首款8層堆疊的24GB容量第二代HBM3內(nèi)存

　　7月28日消息，Micron Technology Inc.(美光科技)今日宣布，公司已開始出樣業(yè)界首款 8 層堆疊的 24GB 容量第二代 HBM3 內(nèi)存，其帶寬超過 1.2TB/s，引腳速率超過 9.2Gb/s，比當(dāng)前市面上現(xiàn)有的 HBM3 解決方案性能可提升最高 50%。美光第二代 HBM3 產(chǎn)品與前一代產(chǎn)品相比，每瓦性能提高 2.5 倍，創(chuàng)下了關(guān)鍵型人工智能(AI)數(shù)據(jù)中心性能、容量和能效指標(biāo)的新紀(jì)錄，將助力業(yè)界縮短大型語言模型(如 GPT-4 及更高版本)的訓(xùn)練時間，為 AI 推理提供高效的基礎(chǔ)設(shè)施，并降低總體擁有成本(TCO)。

　　美光基于業(yè)界前沿的 1β DRAM 制程節(jié)點推出高帶寬內(nèi)存(HBM)解決方案，將 24Gb DRAM 裸片封裝進(jìn)行業(yè)標(biāo)準(zhǔn)尺寸的 8 層堆疊模塊中。此外，美光 12 層堆疊的 36GB 容量產(chǎn)品也將于 2024 年第一季度開始出樣。與當(dāng)前市面上其他的 8 層堆疊解決方案相比，美光 HBM3 解決方案的容量提升了 50%。美光第二代 HBM3 產(chǎn)品的性能功耗比和引腳速度的提升對于管理當(dāng)今 AI 數(shù)據(jù)中心的極端功耗需求至關(guān)重要。美光通過技術(shù)革新實現(xiàn)了能效的顯著提升，例如與業(yè)界其他 HBM3 解決方案相比，美光將硅通孔(TSV)數(shù)量翻倍，增加 5 倍金屬密度以降低熱阻，以及設(shè)計更為節(jié)能的數(shù)據(jù)通路。

　　美光作為 2.5D/3D 堆疊和先進(jìn)封裝技術(shù)領(lǐng)域長久以來的存儲領(lǐng)導(dǎo)廠商，有幸成為臺積電 3DFabric 聯(lián)盟的合作伙伴成員，共同構(gòu)建半導(dǎo)體和系統(tǒng)創(chuàng)新的未來。在第二代 HBM3 產(chǎn)品開發(fā)過程中，美光與臺積電攜手合作，為 AI 及高性能計算(HPC)設(shè)計應(yīng)用中順利引入和集成計算系統(tǒng)奠定了基礎(chǔ)。臺積電目前已收到美光第二代 HBM3 內(nèi)存樣片，正與美光密切合作進(jìn)行下一步的評估和測試，助力客戶的下一代高性能計算應(yīng)用創(chuàng)新。

　　美光第二代 HBM3 解決方案滿足了生成式 AI 領(lǐng)域?qū)Χ嗄�態(tài)、數(shù)萬億參數(shù) AI 模型日益增長的需求。憑借高達(dá) 24GB 的單模塊容量和超過 9.2Gb/s 的引腳速率，美光 HBM3 能使大型語言模型的訓(xùn)練時間縮短 30% 以上，從而降低總體擁有成本。此外，美光 HBM3 將觸發(fā)每日查詢量的顯著增加，從而更有效地利用訓(xùn)練過的模型。美光第二代 HBM3 內(nèi)存擁有業(yè)界一流的每瓦性能，將切實推動現(xiàn)代 AI 數(shù)據(jù)中心節(jié)省運營開支。在已經(jīng)部署的 1,000 萬個圖形處理器(GPU)用例中，單個 HBM 模塊可節(jié)約 5W 功耗，能在五年內(nèi)節(jié)省高達(dá) 5.5 億美元的運營費用。

　　第二代 HBM3 是美光領(lǐng)先技術(shù)的又一個里程碑。美光此前宣布推出基于 1α(1-alpha)節(jié)點、24Gb 單塊 DRAM 裸片的 96GB 容量 DDR5 模組用于大容量服務(wù)器解決方案;如今推出基于 1β 節(jié)點、24Gb 單塊 DRAM 裸片的 24GB 容量 HBM3 產(chǎn)品，并計劃于 2024 年上半年推出基于 1β 節(jié)點、32Gb 單塊 DRAM 裸片的 128GB 容量 DDR5 模組。這些新品展現(xiàn)了美光在 AI 服務(wù)器領(lǐng)域的前沿技術(shù)創(chuàng)新。