英偉達(dá)HOVER神經(jīng)網(wǎng)絡(luò)：在虛擬訓(xùn)練中僅用50分鐘就能控制機(jī)器人

　　研究團(tuán)隊宣布了一項令人興奮的進(jìn)展，他們開發(fā)了一種名為 HOVER(人形多功能控制器)的新型神經(jīng)網(wǎng)絡(luò)。這個神經(jīng)網(wǎng)絡(luò)擁有150萬參數(shù)，專門用于協(xié)調(diào)人形機(jī)器人的運(yùn)動和操作。

　　NVIDIA 的高級研究經(jīng)理 Jim Fan 表示:“并不是所有基礎(chǔ)模型都需要龐大。我們訓(xùn)練的這個1.5M 參數(shù)的神經(jīng)網(wǎng)絡(luò)，旨在控制人形機(jī)器人的身體。” 他進(jìn)一步解釋，HOVER 能夠捕捉到人類運(yùn)動中的潛意識過程，這樣一來，機(jī)器人就可以在沒有繁瑣編程的情況下執(zhí)行復(fù)雜任務(wù)。他提到，“人類在行走、保持平衡，以及靈活操控四肢時，都需要大量的潛意識處理。”

　　在訓(xùn)練過程中，HOVER 使用了 NVIDIA 的 Isaac 模擬平臺，這個平臺能夠加速物理仿真，速度是現(xiàn)實時間的10000倍。

　　Jim Fan 透露，這個模型在虛擬環(huán)境中經(jīng)過了一年的訓(xùn)練，實際上只花費(fèi)了大約50分鐘的真實時間，這在單個 GPU 上完成。他表示，這種高效的訓(xùn)練使得神經(jīng)網(wǎng)絡(luò)能夠順利轉(zhuǎn)移到現(xiàn)實應(yīng)用中，而不需要進(jìn)行微調(diào)。

　　HOVER 具備響應(yīng)多種高層運(yùn)動指令的能力，包括使用 XR 設(shè)備(如蘋果的 Vision Pro)進(jìn)行頭部和手部姿勢的控制，或通過動作捕捉和 RGB 相機(jī)獲取全身姿勢，甚至可以從外骨骼獲取關(guān)節(jié)角度，或從操縱桿獲取根速度命令。Fan 強(qiáng)調(diào)，HOVER 為控制不同輸入設(shè)備的機(jī)器人提供了一個統(tǒng)一的接口，從而便利了用于訓(xùn)練的遙操作數(shù)據(jù)的收集。

　　此外，HOVER 還與上游的視覺 - 語言 - 動作模型集成，使得運(yùn)動指令能夠高頻率地轉(zhuǎn)化為低級別的馬達(dá)信號。這個模型與任何可以在 Isaac 中模擬的人形機(jī)器人兼容，使得用戶可以輕松地賦予機(jī)器人生命。

　　早在今年年初，NVIDIA 還宣布了一個名為 GR00T 的項目，這是一個通用基礎(chǔ)模型，專為人形機(jī)器人設(shè)計。GR00T(Generalist Robot00Technology)所驅(qū)動的機(jī)器人，能夠理解自然語言，并通過觀察動作來模仿人類的動作，這讓它們能夠快速學(xué)習(xí)協(xié)調(diào)、靈活性及其他在現(xiàn)實世界中有效互動所需的技能。