英偉達曝AI專用“核彈”：GPT速度提高30倍

　　3 月 21 日晚上 11 點，英偉達 CEO 黃仁勛的演講，為 GTC 2023 拉開序幕。

　　ChatGPT 和 GPT-4 掀起這股生成式 AI 熱潮后，為 AI 提供心臟的英偉達成了背后的大贏家，也讓今年的 GTC 注定成為有史以來最受關(guān)注的一屆。

　　黃仁勛沒有讓關(guān)注者失望。

　　「AI 的 iPhone 時刻已經(jīng)到來。」70 分鐘的演講里，老黃重復(fù)了四五遍。

　　每次講這句話前，他都會分享一項關(guān)于生成式 AI 的新進展——對創(chuàng)作、醫(yī)療、工業(yè)等領(lǐng)域的革命，讓普通人用瀏覽器就能訓(xùn)練大模型的云服務(wù)，以及讓大模型處理成本下降 10 倍的超級芯片……

　　「AI 的發(fā)展會超過任何人的想象。」這句話是對這場演講最好的注腳。

　　1、讓大語言模型的處理成本下降一個數(shù)量級

　　2012 年，Alex Kerchevsky、Ilya Suskever 和他們的導(dǎo)師 Geoff Hinton 在兩塊 GeForce GTX 580 上，使用 1400 萬張圖像訓(xùn)練了 AlexNet——這被認(rèn)為是這一輪 AI 革命的開端，因為它首次證明了 GPU 可以用于訓(xùn)練人工智能。

　　4 年后，黃仁勛親手向 OpenAI 交付了第一臺 NVIDIA DGX 超級計算機。此后數(shù)年，OpenAI 在大型語言模型上的突破讓 AIGC 開始進入人們的視野，并在去年年底推出 ChatGPT 后徹底破圈。幾個月內(nèi)這個對話式 AI 產(chǎn)品吸引了超過 1 億用戶，成為歷史上增長最快的 App。

　　NVIDIA DGX 最初被用作 AI 的研究設(shè)備，現(xiàn)在已經(jīng)被企業(yè)廣泛用于優(yōu)化數(shù)據(jù)和處理 AI。根據(jù)黃仁勛，財富 100 強公司中有一半安裝了 DGX。

　　在這之中，部署像 ChatGPT 這樣的 LLM 正在成為 DGX 越來越重要的一項工作。對此，黃仁勛宣布了一種新的 GPU——帶有雙圖形處理器 NVLink 的 H100 NVL。

　　基于英偉達的 Hopper 架構(gòu)，H100 采用 Transformer 引擎，被設(shè)計用于專門處理類似 GPT 這樣的模型。與用于 GPT-3 處理的 HGX A100 相比，一個搭載四對 H100 和 NVLINK 的標(biāo)準(zhǔn)服務(wù)器的處理速度快 10 倍。根據(jù)官網(wǎng)數(shù)據(jù)，H100 的綜合技術(shù)創(chuàng)新�？梢詫⒋笮驼Z言模型的速度提高 30 倍。

　　「H100 可以將大型語言模型處理成本降低一個數(shù)量級，」黃仁勛說到。

　　此外，在過去的十年里，云計算每年增長 20%，成為一個 1 萬億美元的行業(yè)。為了 AI 和 云計算，英偉達設(shè)計了 Grace CPU，在新的架構(gòu)下，GPU 負(fù)責(zé)處理 AI 的工作負(fù)載，Grace CPU 負(fù)責(zé)采樣，二者之間通過一個 900 GB/s 的高速傳輸設(shè)備連接在一起。

　　「Grace-Hopper 是處理大規(guī)模數(shù)據(jù)集的最佳選擇�！裹S仁勛稱，「我們的客戶希望建立訓(xùn)練數(shù)據(jù)大幾個數(shù)量級的 AI 大模型，Grace-Hopper 是理想的引擎。」

　　某種意義上來說，計算成本已經(jīng)成為今天阻礙生成式 AI 發(fā)展的核心問題，OpenAI 為此燒掉了數(shù)十億乃至上百億美元，微軟也出于成本考慮始終沒有向更大范圍的公眾開放新 Bing，甚至限制用戶每天的對話次數(shù)。

　　英偉達此時推出更高效的算力方案，無疑是給行業(yè)解決了一個大難題。

　　2、DGX Cloud：讓任何企業(yè)都能構(gòu)建AI能力

　　今年 GTC 上另一個涉及生成式 AI 的重點，就是 DGX Cloud。

　　實際上，這并不是英偉達第一次公布 DGX Cloud。此前英偉達四季報發(fā)布時，黃仁勛就向外界透露英偉達將與云服務(wù)廠商展開合作，讓客戶可以使用網(wǎng)頁瀏覽器，就能通過 NVIDIA DGX Cloud 來使用 DGX 計算機，從而訓(xùn)練和部署大型語言模型或完成其他 AI 工作負(fù)載。

　　英偉達已經(jīng)與甲骨文展開合作，預(yù)計下個季度微軟 Azure 也會開始托管 DGX 云，而谷歌云也將在不久之后加入這一行列，以托管的方式向那些有意愿構(gòu)建新產(chǎn)品和發(fā)展 AI 戰(zhàn)略的企業(yè)提供 DGX 云服務(wù)。

　　黃仁勛稱，這種合作關(guān)系將英偉達的生態(tài)系統(tǒng)帶到了云服務(wù)商手中，同時擴大了英偉達的市場規(guī)模和覆蓋面。企業(yè)將能夠每月租用 DGX 云集群，確保他們能夠快速輕松地擴展大型多節(jié)點 AI 訓(xùn)練。

　　3、ChatGPT 只是開始

　　「加速計算是曲速引擎，AI 就是它的能源�！裹S仁勛說道，「生成式 AI 日新月異的能力，給我們重新構(gòu)想其產(chǎn)品和商業(yè)模式帶來了緊迫感�！�

　　ChatGPT 和 GPT-4 為代表的大語言模型在過去幾個月火遍全球，但對英偉達來說，ChatGPT 和大模型并不是 AI 的全部。會上，黃仁勛還分享了更多英偉達在 AI 領(lǐng)域的探索和他本人的觀察。

　　首先是最火的生成式 AI。

　　只需要一張手繪的草圖，就能生成 3D 建模的戶型。

　　撰寫代碼也不在話下。

　　還有創(chuàng)作音樂。

　　為了加速那些尋求利用生成 AI 的人的工作，英偉達宣布成立 NVIDIA AI Foundations，這是一個云服務(wù)和代工廠，面向需要構(gòu)建、改進和定制 LLM 和生成式 AI 的用戶，這些客戶使用其專有數(shù)據(jù)訓(xùn)練特定領(lǐng)域的 AI。

　　AI Foundations 的服務(wù)包括 NVIDIA NeMo，用于構(gòu)建文本-文本的生成模型;畢加索，一種視覺語言模型制作服務(wù)，面向希望構(gòu)建基于經(jīng)授權(quán)內(nèi)容訓(xùn)練模型的用戶;以及 BioNeMo，幫助生物醫(yī)藥研究人員。

　　作為生產(chǎn)力工具，AI也在發(fā)揮巨大的價值，黃仁勛在演講中介紹了幾個非常有意思的案例。

　　第一個是與美國電信巨頭 AT&T。AT&T 需要定期派遣 3 萬名技術(shù)人員，為 700 個區(qū)域的 1300 萬名客戶提供服務(wù)。這個龐大的數(shù)據(jù)，調(diào)度是一個痛點，如果在 CPU 上運行，調(diào)度優(yōu)化需要一整夜的時間才能完成。

　　借助英偉達的 CuOpt，AT&T 可以將調(diào)度方案的優(yōu)化時間加快 100 倍，并可實時更新其調(diào)度方案。

　　某種意義上，在英偉達的幫助下，AT&T 做到了美團、滴滴這些需要實時匹配的互聯(lián)網(wǎng)公司用好多年積累才做到的事情。

　　另一個案例是與芯片公司的合作。隨著中美科技戰(zhàn)，大多數(shù)人都知道了光刻機這個半導(dǎo)體產(chǎn)業(yè)的關(guān)鍵設(shè)備。但鮮為人知的是，隨著制程技術(shù)的發(fā)展，芯片設(shè)計對算力的需求也是半導(dǎo)體行業(yè)的一大痛點。

　　今天計算光刻是芯片設(shè)計和制造領(lǐng)域最大的計算工作負(fù)載，每年需要消耗數(shù)百億 CPU 小時，并且隨著算法越來越復(fù)雜，計算光刻的成本也在提高。

　　對此，英偉達宣布推出 cuLitho——一個計算光刻庫。并與 ASML、臺積電等巨頭展開合作，從而大幅降低芯片設(shè)計過程中的算力消耗，節(jié)能減排。

　　事實上，減少能源消耗，提高計算效率，是黃仁勛眼中AI技術(shù)將為人類社會帶來的另一大價值。而在摩爾定律失效的當(dāng)下，加速計算和 AI 的到來恰逢其時。

　　「各行業(yè)正都在面對可持續(xù)發(fā)展、生成式 AI 和數(shù)字化的挑戰(zhàn)。工業(yè)公司正在競相數(shù)字化，并重塑為軟件驅(qū)動的科技公司——成為顛覆者，而不是被顛覆者，」加速計算讓這些公司可以應(yīng)對這些挑戰(zhàn)，黃仁勛說道�！讣铀儆嬎闶菧p少電力消耗、實現(xiàn)可持續(xù)性發(fā)展和碳中和的最佳方式�！�

　　最后，類似于一個彩蛋，從老黃此次演講的表現(xiàn)不難猜測，視頻中出現(xiàn)的老黃，應(yīng)該全程是一個虛擬形象。如無意外，很有可能也是「生成式 AI」的產(chǎn)物——在表現(xiàn) AI 進步的同時，也算是黃仁勛為自己家「核彈算力」再次「現(xiàn)身說法」。