北大新成果：無需訓(xùn)練，機(jī)器人聽指令就能靈活走位

　　北大的研究團(tuán)隊(duì)近期推出了一項(xiàng)具身導(dǎo)航系統(tǒng)，可使機(jī)器人無需額外訓(xùn)練或建圖，僅通過口頭指令在室內(nèi)環(huán)境中自如移動(dòng)。這一系統(tǒng)包括指令分析、視覺感知、完成估計(jì)和決策測(cè)試等多個(gè)關(guān)鍵任務(wù)，需要不同領(lǐng)域的知識(shí)，這些任務(wù)由一個(gè)大模型專家團(tuán)隊(duì)協(xié)同完成。

　　作者啟發(fā)于現(xiàn)實(shí)中專家討論行為，設(shè)計(jì)了DiscussNav導(dǎo)航系統(tǒng)，通過賦予大語言模型(LLM)和多模態(tài)大模型(MLM)專家角色和任務(wù)，構(gòu)建了具備不同專長(zhǎng)的視覺導(dǎo)航專家團(tuán)隊(duì)。

　　在這一系統(tǒng)中，導(dǎo)航機(jī)器人會(huì)在每一步移動(dòng)前主動(dòng)與專家討論，以理解人類指令中所需的動(dòng)作和提及的物體標(biāo)志。然后，它會(huì)根據(jù)這些物體標(biāo)志類型傾向性地感知周圍環(huán)境，估計(jì)指令的完成情況，并做出初步的移動(dòng)決策。

　　值得注意的是，在決策過程中，機(jī)器人會(huì)同時(shí)生成多個(gè)獨(dú)立的預(yù)測(cè)結(jié)果，并在這些結(jié)果之間出現(xiàn)不一致時(shí)，向決策測(cè)試專家求助，以篩選出最終的移動(dòng)決策。這一方法不同于傳統(tǒng)方法，無需額外預(yù)訓(xùn)練，通過與大模型專家的互動(dòng)，直接解決了機(jī)器人導(dǎo)航訓(xùn)練數(shù)據(jù)稀缺的問題，并具備零樣本能力。

　　DiscussNav系統(tǒng)在經(jīng)典的視覺語言導(dǎo)航數(shù)據(jù)集Room2Room上的表現(xiàn)顯著超越了所有零樣本方法，甚至勝過了經(jīng)過訓(xùn)練的方法。

　　研究團(tuán)隊(duì)還在Turtlebot4移動(dòng)機(jī)器人上進(jìn)行了真實(shí)室內(nèi)場(chǎng)景導(dǎo)航實(shí)驗(yàn)，結(jié)果表明，該系統(tǒng)在真實(shí)世界中的表現(xiàn)明顯優(yōu)于之前最優(yōu)的零樣本方法和經(jīng)過預(yù)訓(xùn)練微調(diào)的方法，展現(xiàn)出良好的從模擬環(huán)境到真實(shí)環(huán)境的遷移能力。

　　作者指出，這一系統(tǒng)具備四個(gè)強(qiáng)大的能力，包括識(shí)別開放世界物體、識(shí)別細(xì)粒度的導(dǎo)航標(biāo)志物體、糾正其他專家在討論中的錯(cuò)誤信息，以及排除不一致的移動(dòng)決策。

　　此外，作者還提出，深入研究如何有效利用仿真數(shù)據(jù)和大模型從海量數(shù)據(jù)中學(xué)到的先驗(yàn)知識(shí)是未來具身智能研究的發(fā)展方向。盡管受到數(shù)據(jù)規(guī)模和真實(shí)環(huán)境探索成本的限制，但大模型的進(jìn)展為具身智能提供了新方向，將推動(dòng)其發(fā)展。

　　在總體上，北大的DiscussNav系統(tǒng)代表了具身導(dǎo)航領(lǐng)域的一項(xiàng)重要突破，使機(jī)器人能夠根據(jù)口頭指令自如導(dǎo)航，同時(shí)具備零樣本能力，這對(duì)未來的智能機(jī)器人和自動(dòng)化應(yīng)用具有重要意義。