AI「百模大戰(zhàn)」，英偉達穩(wěn)坐釣魚臺

　　過去半年，生成式 AI 讓很多人為之激動，也讓很多人憂慮。一些插畫師的工作已經(jīng)直接受到了 Midjourney、Stable Diffusion 等 AI 的沖擊，ChatGPT、Notion AI 也讓大量程序員和文字工作者感到了莫大的壓力。

　　但恐慌沒有必要。一方面面臨失業(yè)風(fēng)險的不只是包括筆者在內(nèi)的內(nèi)容創(chuàng)作者，生成式 AI 也進入了藥物研發(fā)的流程，接下來還會有更多行業(yè)將不可避免引入，反正可能失業(yè)的遠(yuǎn)不止你我，甚至不少公司也焦慮于如何免于被淘汰。

　　另一方面以太平洋兩岸的中 美兩國為核心，巨頭們都在蜂擁進入 AI 大模型的戰(zhàn)場，很多媒體稱其為「百模大戰(zhàn)」。還有不少科技公司高管也與其他創(chuàng)業(yè)者一樣跳入 AI 創(chuàng)業(yè)的浪潮，比如谷歌 AR/VR 負(fù)責(zé)人 Clay Bavor、阿里副總裁賈揚清、英特爾首席架構(gòu)師 Raja Koduri。

　　就像是一百多年前的淘金熱。

　　1849 年，美國加州發(fā)現(xiàn)金礦的消息傳開后，淘金熱開始了。數(shù)十萬人涌入這片新土地，他們有的來自美國其他地方，有的來自歐洲，還有來到美國的*代華人移民，他們剛開始把這個地方稱為「金山」，而后又改稱「舊金山」，以對比在澳大利亞墨爾本發(fā)現(xiàn)的「新金山」。

　　但在那場淘金熱中，絕大部分趕來的淘金者并沒有積累到過多的財富，反而是大量賣褲子、賣鏟子、賣水的商人賺得盆滿鍋滿�；�于這段歷史，后來的人習(xí)慣將產(chǎn)業(yè)鏈上游的公司比作「賣鏟人」，而不管下游公司的亂戰(zhàn)有多激烈，一些上游公司總能是贏家，比如英偉達。

　　甚至于，一百多年后生成式 AI 浪潮正在澎湃的此刻，英偉達的「鏟子」已經(jīng)賣到不夠賣了。

　　英偉達的GPU，云服務(wù)器廠商也沒貨了

　　上周，3D 游戲先驅(qū)、前 Oculus CTO 約翰·卡馬克(John Carmack)在推特上感嘆：一張英偉達的 H100 GPU 在 eBay 上已經(jīng)賣到了超過 4 萬美元。

　　圖/eBay

　　由于擅長大規(guī)模并發(fā)計算，從谷歌大腦開始，GPU 被廣泛應(yīng)用于深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和推理等場景，全面替代了 CPU。根據(jù) OpenAI 的研究報告顯示，自 2012 年起，全球頭部 AI 模型訓(xùn)練算力需求每 3-4 個月翻一番，每年頭部訓(xùn)練模型所需算力增長幅度高達 10 倍。

　　僅以 ChatGPT 為例，在推出前訓(xùn)練階段消耗的總算力就達到 3640 PF-days(即 1 PetaFLOP/s 效率跑 3640 天)，成本也達到了單次 500 萬美元。

　　同時在過去幾個月，越來越多的公司加入到 AI 大模型和生成式 AI 的競爭，僅國內(nèi)已經(jīng)發(fā)布或預(yù)告發(fā)布的公司就達到了十家之多：百度、阿里、騰訊、字節(jié)、華為、知乎、商湯、360、訊飛、昆侖萬維，此外還有美團聯(lián)合創(chuàng)始人王慧文領(lǐng)銜的光年之外、前搜狗 CEO 王小川的百川智能等創(chuàng)業(yè)公司。

　　可想而知，在此期間 AI 訓(xùn)練和推理的算力需求持續(xù)狂飆，雪花般的訂單涌向各大云計算平臺。但云計算平臺是真的賺錢都賺不過來。據(jù) The Information報道，近期包括亞馬遜 AWS、微軟 Azure、谷歌 GCP 和甲骨文在內(nèi)的主要云計算平臺都在限制客戶對云服務(wù)器的使用，一些客戶稱租用硬件的等待時間已經(jīng)長達數(shù)月。

　　無獨有偶，21 世紀(jì)經(jīng)濟報道也表示，國內(nèi)主流公有云計算平臺也都出現(xiàn)了云端 GPU 算力供不應(yīng)求的情況，包括阿里云、騰訊云和京東云，提供英偉達 A100 GPU 的云產(chǎn)品在多個區(qū)域都已售罄，或是僅少量可選。

　　圖/英偉達

　　GPU 的大規(guī)模短缺，一方面當(dāng)然離不開需求的激增。作為最近一個宣布進入 AI 大模型戰(zhàn)爭的巨頭，亞馬遜也在*時間就購買了數(shù)萬張英偉達 H100 GPU。稍早幾天，媒體報道馬斯克購買了約一萬張高性能 GPU。此外，由于美國政府對 A100、H100 等英偉達高算力 GPU 的禁令，國內(nèi)公司在禁令生效前一直在向云服務(wù)器廠商購買包含英偉達 GPU 的云產(chǎn)品，也在加劇高端 GPU 的缺貨狀況。

　　但另一方面，包括 OpenAI 在內(nèi)，誰也沒有預(yù)想到 ChatGPT 今天的影響規(guī)模和發(fā)展速度，以及隨后引發(fā)的各方反應(yīng)。再加之去年下半年，受大環(huán)境疲軟影響，全球企業(yè)都在強調(diào)降本增效，主要云廠商也削減了采購力度，就連這場「百模大戰(zhàn)」*的贏家——英偉達也沒有準(zhǔn)備好足夠多的計算卡：

　　否則臺積電的產(chǎn)能利用率也不會降至 80%。

　　大模型或許會輸，但總有一些公司肯定贏

　　4 月 11 日，科大訊飛對外表示，公司將于 5 月 6 日舉辦大模型的產(chǎn)品發(fā)布會。

　　又一個大模型。今年以來，國內(nèi)多家廠商發(fā)布了自己的大模型，從互聯(lián)網(wǎng)巨頭百度、阿里到商湯、360 和昆侖萬維，AI 大模型的準(zhǔn)入門檻似乎已經(jīng)被中國公司拉到了新低。在產(chǎn)品推出并開放使用之前，我們很難知道這些大模型的實際表現(xiàn)。

　　但不同于 ChatGPT 這類 AI 應(yīng)用，AI 大模型的未來大概率不會走向「百花齊放」。不管是巨額的持續(xù)投入，還是考慮到生態(tài)的群聚效應(yīng)，大模型可能都會走向比大部分互聯(lián)網(wǎng)領(lǐng)域更強的「贏者通吃」。換句話說，這場「百模大戰(zhàn)」中的幸存者只會很少，絕大部分大模型只會被殘忍地淘汰。

　　然而，不管誰家的大模型能夠活下來并獲得成功，在「百模大戰(zhàn)」背后提供「軍備」的供應(yīng)商，總是贏家，尤其是現(xiàn)階段無可替代的英偉達。

　　根據(jù) New Street Research 報告顯示，全世界用于進行深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的 GPU 中，95%都是英偉達的 GPU。其中英偉達 A100 是當(dāng)前最主流的高性能 GPU，ChatGPT 的訓(xùn)練和推理，最早就是基于大量的 A100 GPU，后來更新為英偉達去年剛發(fā)布的 H100 GPU。

　　包括谷歌、特斯拉和 Facebook 等*的 AI 公司也都采用了大量英偉達 GPU，用于 AI 的訓(xùn)練和推理。在國內(nèi)也有大量公司依賴于英偉達的高端 GPU，包括阿里、騰訊、百度等云廠商和浪潮、聯(lián)想、新華三等服務(wù)器廠商。

　　就在上周，騰訊云正式發(fā)布面向大模型訓(xùn)練的新一代 HCC 高性能計算集群，該集群搭載了英偉達 H800 GPU，后者是英偉達為應(yīng)對美國禁令為國內(nèi)開發(fā)的 H100 *版。

　　而除了英偉達和云服務(wù)器廠商，得益于這場盛況*的「百模大戰(zhàn)」對 GPU 的旺盛需求，臺積電先進制程的產(chǎn)能利用率也能重新拉升，尤其是英偉達 A100 采用的 7nm 以及 H100 采用的 4nm 制程工藝。

　　事實上，近期業(yè)內(nèi)消息就傳出，臺積電來自蘋果和聯(lián)發(fā)科等主要客戶的訂單仍在減少，英偉達 A100 和 H100 的代工訂單還在持續(xù)增加。

　　不過，臺積電生產(chǎn)交付的周期大概在兩到三個月，這意味著 A100 和 H100 的缺貨在短時間內(nèi)可能還無法緩解。但最關(guān)鍵的問題還是，AI 的進化速度之快，兩三個月的時間足以產(chǎn)生明顯的差距，一些大模型公司，甚至可能因為缺少高性能的 GPU而失去競爭的資格。

　　英偉達的挑戰(zhàn)者不會消失

　　前段時間舉辦的英偉達 GTC 開發(fā)者大會上，英偉達 CEO 黃仁勛在總時長 1 小時 20 分鐘的主題演講中，前 1 個小時幾乎都在講 AI。偏心是肯定，但也足夠合情合理。

　　從長遠(yuǎn)來看，未來大模型的研發(fā)和部署是必然趨勢，每個大模型訓(xùn)練和部署的背后，都需要成千上萬個 GPU 芯片支持。英偉達也很難完全壟斷這塊龐大的市場，不僅因為及時供貨的能力，還在于其他 AI 公司不會樂見于英偉達 GPU 一家獨大，這也給其他公司留下了空間和時間。

　　本月早些時候，谷歌研究人員在一篇論文中公布了用于訓(xùn)練 AI 模型的超級計算機的技術(shù)細(xì)節(jié)，包括如何將 4000 多個自研的第四代 TPU 芯片連接成一臺超級計算機，通過協(xié)同來訓(xùn)練模型。谷歌宣稱，該系統(tǒng)比基于英偉達 GPU 的超算系統(tǒng)速度快了 1.7 倍，能效高了 1.9 倍。

　　此外，過去幾年國產(chǎn) GPU 均取得了一定的突破，盡管距離英偉達等頭部廠商還有很大的差距。但在美國禁令和缺貨的背景下，國產(chǎn) GPU 仍然有機會謀求成為國內(nèi) AI 市場的 Plan B，慢慢壯大之后再尋求進一步的發(fā)展，包括挑戰(zhàn)英偉達的霸權(quán)。

　　正如投資機構(gòu) a16z 早前評價 ChatGPT 時所說，「基礎(chǔ)設(shè)施服務(wù)商可能才是*贏家，獲得最多的財富�！贡M管大眾的目光大都放在各家的大模型上，但在戰(zhàn)爭的「幕后」，還會有好戲持續(xù)上演。