AI芯片短缺即將到來

　　坊間曾傳出一份報告，報告稱今年年初百度緊急下單了3000臺包含8張芯片的A800服務(wù)器(相當(dāng)于2.4萬張A800芯片)，預(yù)計全年會有A800和H800共5萬枚需求。無獨有偶，阿里云預(yù)計也將在今年一萬枚左右芯片，其中6000枚是H800。

　　有知情人士透露，A800、H800芯片目前正遭到包括服務(wù)器、互聯(lián)網(wǎng)廠商的國內(nèi)公司“哄搶”，“H800國內(nèi)開始出貨了，但本來產(chǎn)量也不多。A800國內(nèi)今年一年出貨的量，超過一半在互聯(lián)網(wǎng)公司，”該知情人士稱，“H800出貨更少，剩下客戶新訂的可能最快要到12月才能交付。”

　　在這一輪由Chat GPT掀起的大模型創(chuàng)業(yè)潮里，AI芯片成了搶手貨，其中GPU最為明顯。

　　01 *的“硬通貨”

　　隨著現(xiàn)象級AI產(chǎn)品Chat GPT的走紅，以大型語言模型為代表的前沿AI技術(shù)走向聚光燈之下。不少相關(guān)企業(yè)都接連推出了自己的大模型，百度、阿里、360、商湯等國內(nèi)企業(yè)紛紛宣布入局AI大模型。

　　在技術(shù)架構(gòu)層面，AI芯片可分為GPU(圖形處理器)、ASIC(專業(yè)集成電路)、FPGA(現(xiàn)場可編程門陣列)和類腦芯片。Chat GPT背后的算力支撐主要來自GPU或CPU+FPGA。由于具備并行計算能力，可兼容訓(xùn)練和推理，GPU目前被廣泛應(yīng)用。

　　大模型對于GPU的要求極高。一方面是對于GPU的數(shù)量有要求。根據(jù)Semianalysis的測算，Chat GPT每天在計算硬件成本方面的運營成本為69萬美元。Open AI需要約3,617臺HGX A100服務(wù)器(2.8萬個GPU)來為Chat GPT提供服務(wù)。

　　另一方面，對于GPU自身的性能也有要求。黃仁勛在一次會議上表示：“當(dāng)前*可以實際處理Chat GPT的GPU是英偉達(dá)HGX A100。”A100由540億個晶體管組成，打包了第三代Tensor核心，并具有針對稀疏矩陣運算的加速功能，對于AI推理和訓(xùn)練來說特別有用。此后，英偉達(dá)還推出A100的替代者——H100，該芯片由臺積電5nm定制版本制程(4N)打造，單塊芯片包含800億晶體管，一舉成為最強。

　　一時間，GPU成為了各大企業(yè)走向AI時代的*“硬通貨”。

　　除了前文提到的國內(nèi)兩家巨頭企業(yè)在購買GPU外，4月14日，國內(nèi)第四大云廠商騰訊宣布推出新一代的高性能計算集群，該集群采用騰訊云自研服務(wù)器，搭載了英偉達(dá)最新的中國*版GPU H800，服務(wù)器間的連接帶寬高達(dá)3.2Tbps。騰訊稱，該服務(wù)器集群算力性能較前代提高了3倍，將騰訊自研的“混元NLP大模型”訓(xùn)練時間由11天縮短至4天。

　　隨著國內(nèi)大模型不斷推出，GPU的數(shù)量還遠(yuǎn)遠(yuǎn)不夠滿足。據(jù)前人工智能NLP企業(yè)首席科學(xué)家、千芯科技董事長陳巍測算，國內(nèi)如果想要直接訓(xùn)練出一個GPT-3級別的大模型，最少需要3000到5000枚A100級別的AI芯片。以保守情況估計，目前國內(nèi)A100級別的AI芯片缺口在30萬枚左右。

　　“瘋狂”購買的不止是國內(nèi)企業(yè)，海外巨頭也在搶購。

　　2022年11月發(fā)布Chat GPT-3之后，Open AI背后的金主微軟表示，已經(jīng)購買了超過一萬枚英偉達(dá)A100 GPU芯片，為Chat GPT構(gòu)建AI計算集群。前不久，馬斯克也為了推進(jìn)推特內(nèi)部的新AIGC項目，直接購買了約1萬個GPU。

　　不過，地主家的存糧也不多，據(jù)消息人士透露，從2022年末，微軟就實行了GPU資源配額供給，但今年1月以來審批時間越來越長，如今部分申請需要等待幾天甚至幾周才能獲批。同時，微軟向英偉達(dá)預(yù)訂的數(shù)萬枚GPU芯片，交貨無期。

　　02 GPU價格攀升

　　如此巨大的需求，推動著本就昂貴的GPU價格再度上漲。

　　截止5月5日，英偉達(dá)最新發(fā)布的旗艦AI芯片H100在ebay上的售價達(dá)到4萬美元一枚。記者搜索eBay時發(fā)現(xiàn)，目前共有6家店鋪掛牌銷售H100芯片，其售價普遍達(dá)到4.5萬美元左右。相較于之前零售商報價的3.6萬美元，提價明顯。

　　國內(nèi)方面，AI應(yīng)用的主力芯片——由英偉達(dá)2020年發(fā)布的A100，價格也在飛速飆升。從年初到現(xiàn)在的5個月內(nèi)，A100的價格從原來的6萬元一路飆升到10萬元，漲幅超過50%。業(yè)內(nèi)人士預(yù)測由于美國的禁令，國內(nèi)相關(guān)芯片的價格將持續(xù)上漲。

　　去年年底，英偉達(dá)推出A100“閹割版”(帶寬被限制)——A800顯卡，價格也在同步上漲。記者了解到目前A800在京東官網(wǎng)的定價為89999元。但實際上A800現(xiàn)在處于“有價無市”的情況，供應(yīng)緊張，真實成交價格高于平臺報價。

　　即便按89999元一顆A800芯片的價格計算，1萬顆的成本就是約人民幣9億元。A800目前在浪潮、新華三等國內(nèi)服務(wù)器廠商手中是稀缺品，一次只能采購數(shù)百片。有業(yè)內(nèi)人士感嘆：“一天一個價，一天比一天貴。”

　　《芯片戰(zhàn)爭》的作者Chris Miller在接受采訪時也做出預(yù)測：“對于用于AI的特定類型的芯片，實際上已經(jīng)出現(xiàn)了繁榮和一些已經(jīng)變得明顯的短缺。而且似乎對這些類型芯片的需求只會增長。”

　　03 代工產(chǎn)能堪憂

　　英偉達(dá)已經(jīng)供不上貨了。

　　作為最強GPU，英偉達(dá)自然選擇了擁有全球*進(jìn)制程的臺積電進(jìn)行*代工。具體來看，英偉達(dá)的A100、A800采用的是臺積電7nm工藝、H100則是由臺積電5nm定制版(4N)打造。

　　今年3月，臺積電收到了英偉達(dá)增加的代工訂單，其產(chǎn)品就是A100、H100，并且也包括為國內(nèi)市場設(shè)計的A800系列GPU的代工訂單。

　　在5nm-7nm制程這塊，原本今年臺積電的產(chǎn)能利用率并不算高點。5nm方面，去年四季度臺積電就面臨多家客戶消減訂單;7nm方面，臺積電也預(yù)測在今年上半年不再處于過去3年的高點。

　　現(xiàn)實情況卻出乎意料，Chat GPT的火熱帶來的不僅僅是對于英偉達(dá)訂單的需求，同樣也助力了AMD等企業(yè)。業(yè)內(nèi)人士表示，AMD也獲得了不少客戶的急單需求，并且已經(jīng)向臺積電加大了訂單量，其產(chǎn)品制程同樣覆蓋5nm和7nm家族。

　　臺積電先進(jìn)制程的份額中，各家占比不同。根據(jù)日本精密加工研究所所長湯之上隆的預(yù)測，2022年的排名依次為：蘋果(25.4%)、AMD(9.2%)、聯(lián)發(fā)科(8.2%)、Broadcom(8.1%)、高通(7.6%)、英特爾(7.2%)、英偉達(dá)(5.8%)。可以看到，英偉達(dá)僅在第七。并且占據(jù)臺積電25.4%營收的蘋果，更是壟斷了臺積電80-90%的尖端制程。

　　隨著去年年底，特斯拉大量訂購了臺積電的4nm/5nm制程訂單，想將其用于全自動駕駛汽車。巨大的訂單量，使得特斯拉一躍拉成為臺積電的第七大客戶，英偉達(dá)順次排到了第八。

　　在前七大客戶的訂單沖擊下，英偉達(dá)的訂單不免也將受到擠壓。

　　并且，遠(yuǎn)水救不了近火，芯片代工本來就需要較長時間。去年8月，受到美國禁令的影響，英偉達(dá)直接對臺積電下了“超級急件(super hot runs)”訂單。這批“超級急件”總量約5000片，交期將大幅縮短，從原本預(yù)估的5至6個月，壓縮為2至3個月，最快10月底至11月初開始交貨。

　　由此來看，即使英偉達(dá)現(xiàn)在下單臺積電，正常情況下GPU的量產(chǎn)仍需要一段時間。

　　04 吊死在英偉達(dá)一棵樹上？

　　業(yè)內(nèi)有人甚至以2021年席卷全球的缺芯潮，來類比眼下的GPU短缺：成千上萬的AI初創(chuàng)公司、甚至是大型云服務(wù)商，將如當(dāng)年因缺少關(guān)鍵芯片而停產(chǎn)的車企，或因缺少GPU面臨相似困境。

　　不過，也并非所有客戶都“吊死在英偉達(dá)一棵樹上”，很多人將目標(biāo)光投向了英偉達(dá)的競爭對手，比如AMD的GPU、Cerebras的WSE，Cerebras表示自家WSE-2是”地球上最快的”AI處理器”。

　　今年1月，AMD預(yù)告了重磅產(chǎn)品AMD Instinct MI300，MI300被稱為“世界上*款在數(shù)據(jù)中心集成的CPU+GPU”，MI300加速器專為*的高性能計算(HPC)和AI性能而設(shè)計，借助3D封裝技術(shù)將CPU和加速計算單元集成在一起，總共有1460億個晶體管，預(yù)計在今年問世。蘇姿豐表示，該芯片可以將推理建模過程的時間從幾個月縮短至幾周。

　　據(jù)了解，大約在5年前，微軟就開始研發(fā)一種芯片，內(nèi)部代號「雅典娜」(Athena)，300人共同研發(fā)，專為訓(xùn)練大型語言模型(LLM)而設(shè)計。如果順利，微軟將通過Athena將每顆芯片成本降低三分之一，從而為Chat GPT發(fā)展提供重要動力。

　　與此同時，英特爾也率先掀起了GPU價格戰(zhàn)。J.Gold Associates分析師Jack Gold表示，英特爾的GPU定價“相當(dāng)激進(jìn)，尤其是一些低端產(chǎn)品”;一些超大規(guī)模的廠商很有可能會向自家客戶提供英特爾的高端GPU。

　　值得注意的是，面對眾多大模型的算力需求，黃仁勛在2023年3月宣布英偉達(dá)將開展一項新的云租賃服務(wù)——向B端租賃用于開發(fā)Chat GPT等人工智能技術(shù)的超級計算機。

　　不過，此舉看似開源，實則價格不菲——租賃這種包含8個A100或H100旗艦芯片的價格為3.7萬美元/月，約合人民幣25.4萬元。

　　如此來看，AI仍舊是富人的游戲。