英偉達(dá)成立最壕AI實(shí)驗(yàn)室

　　英偉達(dá)最新大動(dòng)作來(lái)了——通用具身智能體。

　　這則消息是由英偉達(dá)高級(jí)科學(xué)家Jim Fan透露，他表示：

　　我將和老隊(duì)友Yuke Zhu一起，在英偉達(dá)內(nèi)部組建一個(gè)新研究小組——GEAR，通用具身智能體研究。

　　我們相信，在未來(lái)，每一臺(tái)移動(dòng)的機(jī)器都將是自主的，機(jī)器人和模擬智能體將像iPhone一樣無(wú)處不在。

　　我們正在構(gòu)建基礎(chǔ)智能體：一個(gè)具有通用能力的AI，可以在許多虛擬和現(xiàn)實(shí)的世界中學(xué)習(xí)如何熟練地行動(dòng)。

　　Jim Fan還強(qiáng)調(diào)，2024年將是屬于機(jī)器人、游戲AI和模擬的一年。

　　而隨著這兩天英偉達(dá)市值暴漲，Jim Fan還補(bǔ)充了一條X說(shuō)道：

　　我們有足夠的資金一次性解決機(jī)器人基礎(chǔ)模型、游戲基礎(chǔ)模型和生成式模擬。

　　我們團(tuán)隊(duì)可能是全球最有錢的具身智能實(shí)驗(yàn)室。

　　嗯，有錢，很壕。

　　相關(guān)成果展示

　　Jim Fan在發(fā)布這條職業(yè)履新消息之際，也順帶把英偉達(dá)此前在具身智能所做的相關(guān)工作盤點(diǎn)了一波。

　　例如被評(píng)為“2023年英偉達(dá)十大項(xiàng)目”之一的Eureka——

　　用GPT-4生成獎(jiǎng)勵(lì)函數(shù)，教會(huì)機(jī)器人完成了三十多個(gè)復(fù)雜任務(wù)：比如，快速轉(zhuǎn)個(gè)筆，打開抽屜和柜子、拋球和接球。

　　使用GPU加速的物理模擬進(jìn)行訓(xùn)練，速度比實(shí)時(shí)快1000倍!

　　再如Voyager，把GPT-4放進(jìn)《我的世界》——

　　在游戲中點(diǎn)亮科技樹的速度是此前方法的15.3倍，同時(shí)獲得的獨(dú)特物品是此前的3.3倍，探索范圍是2.3倍。

　　更關(guān)鍵的是，Voyager完全借助游戲畫面推理，一切操作與反饋通過(guò)文本和游戲的Javascript API進(jìn)行。

　　它也是第 一個(gè)LLM驅(qū)動(dòng)、能熟練玩《我的世界》的智能體。

　　除此之外，還包括斬獲了NeurIPS 2022*論文的MineDojo。

　　這項(xiàng)研究提出一個(gè)由3個(gè)智能體組成的“具身GPT-3”，可以感知無(wú)限世界并在其中行動(dòng)。

　　MineDojo是一個(gè)將《我的世界》變成 AGI 研究游樂場(chǎng)的開放框架。

　　團(tuán)隊(duì)收集了100000個(gè) YouTube 視頻、Wiki頁(yè)面和Reddit帖子，用于訓(xùn)練《我的世界》智能體。

　　還有像VIMA這樣的研究：*個(gè)帶有機(jī)械臂的多模態(tài)LLM，為機(jī)器人學(xué)習(xí)引入了“多模態(tài)提示”。

　　被黃仁勛帶火的具身智能

　　其實(shí)Jim Fan領(lǐng)隊(duì)搞通用具身智能體并不是非常意外的一件事情。

　　早在去年，黃仁勛便公開表達(dá)他對(duì)下一代人工智能的觀點(diǎn)：

　　這種新型的人工智能叫做具身智能(Embodied AI)，即能理解、推理和與物理世界互動(dòng)的智能系統(tǒng)。

　　而從去年至今，無(wú)論是高校還是產(chǎn)業(yè)，具身智能相關(guān)的研究可謂是層出不窮。

　　最為典型的便是斯坦福大學(xué)的家務(wù)機(jī)器人，驚呆了一眾網(wǎng)友。

　　那么Jim Fan團(tuán)隊(duì)將在今年再帶來(lái)什么成果，是值得期待一波了。