Intel發(fā)布Gaudi 3 AI加速器：4倍性能提升、無(wú)懼1800億參數(shù)大模型

　　美國(guó)當(dāng)?shù)貢r(shí)間4月9日，Intel舉辦了一場(chǎng)面向客戶和合作伙伴的Intel Vision 2024產(chǎn)業(yè)創(chuàng)新大會(huì)，做出多項(xiàng)重磅宣布，包括全新的Gaudi 3 AI加速器，包括全新的至強(qiáng)6品牌，以及涵蓋全新開放、可擴(kuò)展系統(tǒng)，下一代產(chǎn)品和一系列戰(zhàn)略合作的全棧解決方案。

　　數(shù)據(jù)顯示，預(yù)計(jì)到2030年，全球半導(dǎo)體市場(chǎng)規(guī)模將達(dá)1萬(wàn)億美元，AI是主要推動(dòng)力，不過在2023年，只有10％的企業(yè)能夠成功將其AIGC項(xiàng)目產(chǎn)品化。

　　Intel的最新解決方案，有望幫助企業(yè)應(yīng)對(duì)推廣AI項(xiàng)目時(shí)所面臨的挑戰(zhàn)，加速實(shí)現(xiàn)AIGC落地商用。

　　Intel現(xiàn)有的Gaudi 2誕生于2022年5月，并于2023年7月正式引入中國(guó)，擁有極高的深度學(xué)習(xí)性能、效率，以及極高的性價(jià)比。

　　它采用臺(tái)積電7nm工藝制造，集成24個(gè)可編程的Tenor張量核心(TPC)、48MB SRAM緩存、21個(gè)10萬(wàn)兆內(nèi)部互連以太網(wǎng)接口(ROCEv2 RDMA)、96GB HBM2E高帶寬內(nèi)存(總帶寬2.4TB/s)、多媒體引擎等，支持PCIe 4.0 x16，最高功耗800W，可滿足大規(guī)模語(yǔ)言模型、生成式AI模型的強(qiáng)算力需求。

　　新一代的Gaudi 3面向AI訓(xùn)練和推理，升級(jí)為臺(tái)積電5nm工藝，帶來了2倍的FP8 AI算力、4倍的BF16 AI算力、2倍的網(wǎng)絡(luò)帶寬、1.5倍的內(nèi)存帶寬。

　　對(duì)比NVIDIA H100，它在流行LLM上的推理性能領(lǐng)先50%、訓(xùn)練時(shí)間快40%。

　　Gaudi 3預(yù)計(jì)可大幅縮短70億和130億參數(shù)Llama2模型、1750億參數(shù)GPT-3模型的訓(xùn)練時(shí)間。

　　在Llama 70億/700億參數(shù)、Falcon 1800億參數(shù)大型語(yǔ)言模型上，Gaudi 3的推理吞吐量和能效也都非常出色。

　　Gaudi 3提供多種靈活的形態(tài)，包括OAM兼容夾層卡、通用基板、PCIe擴(kuò)展卡，滿足不同應(yīng)用需求。

　　Gaudi 3提供開放的、基于社區(qū)的軟件，以及行業(yè)標(biāo)準(zhǔn)以太網(wǎng)網(wǎng)絡(luò)，可以靈活地從單個(gè)節(jié)點(diǎn)擴(kuò)展到擁有數(shù)千個(gè)節(jié)點(diǎn)的集群、超級(jí)集群和超大集群，支持大規(guī)模的推理、微調(diào)和訓(xùn)練。

　　Gaudi 3 AI加速器具備高性能、經(jīng)濟(jì)實(shí)用、節(jié)能、可快速部署等優(yōu)點(diǎn)，能夠充分滿足復(fù)雜性、成本效益、碎片化、數(shù)據(jù)可靠性、合規(guī)性等AI應(yīng)用需求。

　　Gaudi 3將于2024年第二季度面向OEM廠商出貨，包括戴爾、慧與、聯(lián)想、超威等。

　　目前，Intel Gaudi加速器的行業(yè)客戶及合作伙伴有NAVER、博世(Bosch)、IBM、Ola/Krutrim、NielsenIQ、Seekr、IFF、CtrlS Group、Bharti Airtel、Landing AI、Roboflow、Infosys，等等。

　　此外，Intel還宣布聯(lián)合Anyscale、DataStax、Domino、Hugging Face、KX Systems、MariaDB、MinIO、Qdrant、RedHat、Redis、SAP、SAS、VMware、Yellowbrick、Zilliz等伙伴，共同創(chuàng)建一個(gè)開放平臺(tái)，助力企業(yè)推動(dòng)AI創(chuàng)新。

　　該計(jì)劃旨在開發(fā)開放的、多供應(yīng)商的AIGC系統(tǒng)，通過RAG(檢索增強(qiáng)生成)技術(shù)，提供一流的部署便利性、性能和價(jià)值。

　　初始階段，Intel將利用至強(qiáng)處理器、Gaudi加速器，推出AIGC流水線的參考實(shí)現(xiàn)，發(fā)布技術(shù)概念框架，并繼續(xù)加強(qiáng)Intel Tiber開發(fā)者云平臺(tái)基礎(chǔ)設(shè)施的功能。