機器人也會系鞋帶了！斯坦福團隊用模仿學習賦予機器人新技能丨已開源

　　斯坦福年初剛教完機器人炒菜，現(xiàn)在又教機器人系鞋帶!

　　他們還發(fā)布了全球首個機器人自主系鞋帶演示視頻:

　　與之前的炒菜版1.0相比，這個版本的它可以執(zhí)行更加輕巧、復雜的任務。

　　評論區(qū)的網(wǎng)友也是一片夸夸:

　　網(wǎng)友一:小手怪巧的，我系鞋帶都沒他系的好!

　　網(wǎng)友二:OMG!是個好東西!量產!

　　網(wǎng)友三:可愛捏!它甚至會打蝴蝶結!

　　小手怪巧的

　　除了系鞋帶，視頻中的Aloha2機器人還會掛衣服、擰齒輪、收拾廚房，甚至是給“同事”換不同用途的配件。

　　咱們一起來看一下它的表現(xiàn)~

　　先是掛衣服。演示視頻中，Aloha2先是乖乖的把衣服擺好，然后一氣呵成地就把衣服套在了衣架上(它甚至知道抵一下防止衣服掉落)。

　　數(shù)據(jù)庫中的沒有的衣服類型也可以掛。

　　在擰齒輪的測試中，它的表現(xiàn)也不錯。成功地把三個塑料齒輪插進了一個帶摩擦力的插座，完美咬合。

　　“收拾廚房”的環(huán)節(jié):Aloha2乖乖地把桌面散落的餐具規(guī)整到一起，擺放整齊。

　　到了給“同事”換配件的時候，也是一氣呵成。先摘下舊的，再拿起新的對準后安上!

　　怎么學會的

　　為了訓練Aloha2機器人，研究團隊使用擴散策略進行大規(guī)模訓練，共在5個任務中收集2.6萬個示范數(shù)據(jù)。

　　值得一提的是，他們的訓練僅僅是基于模仿學習的方法，并不涉及強化學習。

　　而Aloha2機器人的神經網(wǎng)絡架構則是參考了ACT模型，沒有用到條件VAE編碼器(變分自動編碼器)。

　　他們具體是這么做的:

　　研究人員給嵌入加了個位置嵌入，然后喂了一個8500萬的Transformer編碼器，之后用雙向注意力進行解碼，就得到了觀察結果的潛在嵌入。

　　這些潛在的東西再傳給一個5500萬參數(shù)且?guī)щp向注意力的Transformer編碼器。

　　解碼器的輸入是個50x14的張量，就是一個帶位置信息的噪聲動作塊。這些嵌入跟觀察編碼器的潛在嵌入和時間步(用獨熱向量表示)進行交叉注意力。

　　解碼器最后輸出一個50x512的維度，然后用線性層映射成50x14，這就是對接下來50個動作的預測噪聲。

　　基礎模型總共有2.17億個可學習的參數(shù)。小模型的話，研究人員用1700萬的編碼器和3700萬的解碼器，總共1.5億參數(shù)。

　　訓練時，研究人員基于JAX框架，在64個TPUv5e上并行訓練，批量大小256，總共進行了200萬步的訓練。

　　并且使用帶權重衰減的Adam優(yōu)化器，權重衰減是0.001，線性學習率預熱5000步，之后保持恒定速率為1e-4

　　最終結果如下:

　　研究人員對最終的結果很滿意，發(fā)文感嘆:

　　實驗的總體成功率很高!模仿學習可能是實現(xiàn)99%成功率的有效途徑!

　　One more thing

　　Aloha2的研究團隊主要由DeepMind和斯坦福研究小組組成。

　　Aloha2是對原始Aloha系統(tǒng)的增強版本，為了更加支持雙手的遠程操作。

　　與之前的版本相比Aloha2在硬件方面進行了多項改進，使其能夠執(zhí)行更復雜和細致的操作任務，

　　目前研究團隊已經開源了Aloha2的所有硬件設計，并提供詳細的教程和模擬模型，以便于研究人員和開發(fā)者進行大規(guī)模的雙手操作研究。