機(jī)器人時(shí)代已經(jīng)到來(lái)

2024年06月03日 11:55:04 白交衡宇 來(lái)源：微信公眾號(hào)：量子位

　　剛剛，中國(guó)臺(tái)灣大學(xué)體育場(chǎng)，歡呼陣陣如同演唱會(huì)，但這次“搖滾巨星”，其實(shí)是英偉達(dá)創(chuàng)始人黃仁勛，再次回到學(xué)校，帶來(lái)Computex重磅演講，以及英偉達(dá)的新一代GPU。

　　是的，英偉達(dá)新架構(gòu)Blackwell宣布不過(guò)3個(gè)月，老黃就把后三代路線圖全公開(kāi)了：

　　2025年Blackwell Ultra，2026年新架構(gòu)Rubin，2027年Rubin Ultra。

　　好好好，像做iPhone一樣造芯片。

　　到這一代Blackwell為止，英偉達(dá)已經(jīng)把AI模型有效擴(kuò)展到萬(wàn)億參數(shù)。(還給token定了個(gè)譯名：詞元)。

　　1.8萬(wàn)億參數(shù)GPT4的訓(xùn)練能耗，8年降低至原來(lái)的1/350。推理能耗，8年降低至原來(lái)的1/45000。

　　看著這一波亮相和劇透，網(wǎng)友真相了：英偉達(dá)沒(méi)有競(jìng)爭(zhēng)對(duì)手，而是選擇將摩爾定律放在地上摩擦……

　　老黃是在書寫自己的定律。

　　所以應(yīng)該叫老黃定律?還是英偉達(dá)定律?

　　ComputeX前夜，老黃一開(kāi)場(chǎng)就展開(kāi)了一波隱形賣貨，他自稱不太準(zhǔn)確的“CEO數(shù)學(xué)”：

　　買得越多，省得越多……The more you buy, the more you save.

　　經(jīng)典語(yǔ)錄依然引發(fā)現(xiàn)場(chǎng)歡呼大笑：雖然不太準(zhǔn)確，但好像有些道理……

　　除此之外，還有一些新產(chǎn)品亮相，包括能夠模擬氣沖的天氣預(yù)測(cè)模型CorriDiff、數(shù)字人微服務(wù)、BlackWell系統(tǒng)、Spectrum-X、機(jī)器人平臺(tái)Isaac……

　　好了話不多說(shuō)，這就來(lái)看看老黃這次到底搞了哪些事情

　　01、“AI Factory Is generating”

　　談到當(dāng)前新的產(chǎn)業(yè)革命，老黃表示：新的計(jì)算時(shí)代正在開(kāi)始;而AI Factory正在誕生。

　　他在現(xiàn)場(chǎng)展示了BlackWell系統(tǒng)。

　　3月份GTC大會(huì)上還遮遮掩掩地說(shuō)是GPT-MoE-1.8T模型，這下徹底攤牌了：GPT-4參數(shù)就是1.8T。

　　跟DGX Hopper相比。

　　現(xiàn)場(chǎng)還看到了它的真身，大概有兩米那么高吧…

　　而真正的AI Factory大概會(huì)長(zhǎng)這樣，大概有32000GPU。

　　02、AI加速每個(gè)應(yīng)用程序

　　AI對(duì)于企業(yè)的影響，老黃認(rèn)為AI加速每一個(gè)應(yīng)用程序。他首先談到了NIM推理微服務(wù)，這是一個(gè)幫助開(kāi)發(fā)者或者企業(yè)輕松構(gòu)建AI應(yīng)用，簡(jiǎn)化大模型部署程序。

　　不管是聊天機(jī)器人、還是生活/駕駛助手等，部署時(shí)間都能從幾周縮短到幾分鐘。

　　運(yùn)行Meta Llama 3-8B的NIM可以產(chǎn)生比不使用NIM多3倍的tokens。

　　企業(yè)和開(kāi)發(fā)者可以使用NIM運(yùn)行生成文本、圖像、視頻、語(yǔ)音和數(shù)字人類的應(yīng)用程序。

　　而背后源于豐富的技術(shù)合作生態(tài)——

　　近200家技術(shù)合作伙伴，包括Cadence、Cloudera、Cohesity、DataStax、NetApp、Scale AI和Synopsys等，正在將NIM集成到他們的平臺(tái)中。

　　此次在這個(gè)NIM中還有上新，也就是ACE 生成式AI微服務(wù)，數(shù)字人AI技術(shù)套件。

　　除了原有自動(dòng)語(yǔ)音識(shí)別、文本到語(yǔ)音的轉(zhuǎn)換和翻譯、Nemotron語(yǔ)言模型、 Audio2Face等套件，還增加了兩個(gè)技術(shù)：

　　一個(gè)是可以基于音軌生成身體姿勢(shì)Audio2Gesture;

　　一個(gè)Nemotron-3 4.5B，這是英偉達(dá)*SLM(小愛(ài)語(yǔ)言模型)，專為低延遲端側(cè)設(shè)備而生。

　　∂接下來(lái)，這一數(shù)字人微服務(wù)將部署在一億臺(tái)RTX AI PC上面。

　　當(dāng)前英偉達(dá)在新的合作伙伴，比如華碩、MSI的加入下，已經(jīng)擁有超過(guò)200種RTX AI PC型號(hào)。

　　還推出了RTX AI Toolkit，一個(gè)工具和SDK集合，幫助Windows開(kāi)發(fā)者定制優(yōu)化本地部署模型。

　　同Mac相比，部署了RTX的Windows的Stable Diffusion推理速度是Mac的7倍。

　　每一臺(tái)帶有RTX的PC，都是一臺(tái)RTX AIPC。

　　03、用于機(jī)器人開(kāi)發(fā)的技術(shù)平臺(tái)Isaac

　　這次一同亮相的，還有用于機(jī)器人開(kāi)發(fā)的技術(shù)平臺(tái)，NVIDIA Isaac。

　　為啥搞這玩意兒呢，老黃給出的理由是這樣的：

　　機(jī)器人時(shí)代已經(jīng)到來(lái)。有朝一日，所有會(huì)移動(dòng)的東西，都將實(shí)現(xiàn)自主化。

　　這個(gè)Isaac平臺(tái)具體長(zhǎng)啥樣呢?

　　Isaac平臺(tái)提供一系列英偉達(dá)加速庫(kù)、AI基礎(chǔ)模型和仿真技術(shù)，供機(jī)器人制造商集成到自己的技術(shù)棧中。

　　注意，平臺(tái)是模塊化的，允許公司單獨(dú)或一起采用多種技術(shù)。

　　具體而言，其中包括：

　　NVIDIA Isaac ROS：一系列模塊化的ROS 2包，為ROS社區(qū)開(kāi)發(fā)者帶來(lái)NVIDIA加速和AI模型

　　NVIDIA Isaac Perceptor：一個(gè)參考工作流程，提供基于AI的自主移動(dòng)機(jī)器人的多攝像頭3D環(huán)視能力

　　NVIDIA Isaac Manipulator：一個(gè)簡(jiǎn)化AI啟用機(jī)械臂開(kāi)發(fā)的參考工作流程

　　NVIDIA Isaac Sim：一款參考應(yīng)用程序，用于在基于NVIDIA Omniverse平臺(tái)的物理環(huán)境中模擬、測(cè)試和驗(yàn)證機(jī)器人，并生成合成數(shù)據(jù)

　　NVIDIA Isaac Lab：Isaac Sim中的參考應(yīng)用程序，針對(duì)AI機(jī)器人基礎(chǔ)模型訓(xùn)練的強(qiáng)化、模仿和遷移學(xué)習(xí)進(jìn)行了優(yōu)化

　　據(jù)介紹，目前，包括比亞迪電子、西門子、泰瑞達(dá)機(jī)器人和Intrinsic(Alphabet的子公司)在內(nèi)，全球超多名列前茅的機(jī)器人開(kāi)發(fā)團(tuán)隊(duì)，都在采用Isaac平臺(tái)。

　　這些團(tuán)隊(duì)用上Isaac，一邊提高制造工廠、倉(cāng)庫(kù)和配送中心的效率，同時(shí)確保人類同事的安全;一邊也能充當(dāng)重復(fù)勞動(dòng)和超精確任務(wù)的執(zhí)行者。

　　現(xiàn)場(chǎng)放出了很多demo，很多工廠在英偉達(dá)Omniverse里建造了一個(gè)完全模擬現(xiàn)實(shí)的自助工廠，以及基于Isaac平臺(tái)開(kāi)發(fā)的AI機(jī)器人。

　　04、官網(wǎng)悄悄推出游戲Agent助手

　　除了現(xiàn)場(chǎng)老黃親自發(fā)布的上述內(nèi)容外，我們?cè)谟ミ_(dá)官網(wǎng)還找到了一個(gè)彩蛋，一個(gè)巨久遠(yuǎn)的call back。

　　Project G-Assist。

　　時(shí)間回到2017年愚人節(jié)，英偉達(dá)官網(wǎng)開(kāi)了個(gè)大玩笑：

　　宣稱自家發(fā)布了一款支持10080款游戲的USB人工智能超算卡GeForce GTX G-Assist。

　　重點(diǎn)在于它很AI。

　　GeForce GTX G-Assist像是個(gè)AI游戲助手，可以幫助玩家自動(dòng)完成游戲操作，甚至代打擊敗Boss。

　　今天，英偉達(dá)真的將這個(gè)愚人節(jié)玩笑變?yōu)楝F(xiàn)實(shí)——

　　英偉達(dá)官網(wǎng)上線Project G-Assist，一套工具和模型的集合而成的AI Agent系統(tǒng)，供游戲和應(yīng)用程序開(kāi)發(fā)者使用。

　　通過(guò)前后劇情，Project G-Assist利用大模型對(duì)游戲輸出響應(yīng)，能夠檢查游戲性能和系統(tǒng)設(shè)置，建議用戶優(yōu)化以充分利用可用硬件，或者適當(dāng)升級(jí)角色。

　　玩家這邊呢，還可以通過(guò)Project G-Assist找到*的武器，也可以查詢到最牛的攻略，然后就可以或制作武器材料，或一路殺怪通關(guān)。

　　總而言之，Project G-Assist可以讓人有個(gè)Agent外掛，但是不會(huì)讓你完全掛機(jī)，

　　官網(wǎng)還貼心表示：

　　G-Assist 項(xiàng)目不會(huì)像我們?cè)?017年愚人節(jié)預(yù)言視頻中那樣完全替代您玩游戲，但它可以幫助您從您最喜歡的游戲中獲得更多收益。

　　游戲體驗(yàn)再上大分!

　　據(jù)介紹，Project G-Assist支持各種模態(tài)的輸入。

　　可以是來(lái)自玩家的文本提示，或聲音指令;可以是屏幕上顯示框架的上下文;可以是來(lái)自應(yīng)用程序或系統(tǒng)本身的API。

　　這些數(shù)據(jù)都通過(guò)連接了游戲知識(shí)數(shù)據(jù)庫(kù)的大模型處理，然后使用RAG(檢索增強(qiáng)生成)生成和用戶相關(guān)的查詢結(jié)果——沒(méi)錯(cuò)，Project G-Assist允許玩家使用PC或云端RTX AI驅(qū)動(dòng)的知識(shí)庫(kù)。