北大的研究團(tuán)隊(duì)近期推出了一項(xiàng)具身導(dǎo)航系統(tǒng),可使機(jī)器人無需額外訓(xùn)練或建圖,僅通過口頭指令在室內(nèi)環(huán)境中自如移動(dòng)。這一系統(tǒng)包括指令分析、視覺感知、完成估計(jì)和決策測試等多個(gè)關(guān)鍵任務(wù),需要不同領(lǐng)域的知識(shí),這些任務(wù)由一個(gè)大模型專家團(tuán)隊(duì)協(xié)同完成。
作者啟發(fā)于現(xiàn)實(shí)中專家討論行為,設(shè)計(jì)了DiscussNav導(dǎo)航系統(tǒng),通過賦予大語言模型(LLM)和多模態(tài)大模型(MLM)專家角色和任務(wù),構(gòu)建了具備不同專長的視覺導(dǎo)航專家團(tuán)隊(duì)。
在這一系統(tǒng)中,導(dǎo)航機(jī)器人會(huì)在每一步移動(dòng)前主動(dòng)與專家討論,以理解人類指令中所需的動(dòng)作和提及的物體標(biāo)志。然后,它會(huì)根據(jù)這些物體標(biāo)志類型傾向性地感知周圍環(huán)境,估計(jì)指令的完成情況,并做出初步的移動(dòng)決策。
值得注意的是,在決策過程中,機(jī)器人會(huì)同時(shí)生成多個(gè)獨(dú)立的預(yù)測結(jié)果,并在這些結(jié)果之間出現(xiàn)不一致時(shí),向決策測試專家求助,以篩選出最終的移動(dòng)決策。這一方法不同于傳統(tǒng)方法,無需額外預(yù)訓(xùn)練,通過與大模型專家的互動(dòng),直接解決了機(jī)器人導(dǎo)航訓(xùn)練數(shù)據(jù)稀缺的問題,并具備零樣本能力。
DiscussNav系統(tǒng)在經(jīng)典的視覺語言導(dǎo)航數(shù)據(jù)集Room2Room上的表現(xiàn)顯著超越了所有零樣本方法,甚至勝過了經(jīng)過訓(xùn)練的方法。
研究團(tuán)隊(duì)還在Turtlebot4移動(dòng)機(jī)器人上進(jìn)行了真實(shí)室內(nèi)場景導(dǎo)航實(shí)驗(yàn),結(jié)果表明,該系統(tǒng)在真實(shí)世界中的表現(xiàn)明顯優(yōu)于之前最優(yōu)的零樣本方法和經(jīng)過預(yù)訓(xùn)練微調(diào)的方法,展現(xiàn)出良好的從模擬環(huán)境到真實(shí)環(huán)境的遷移能力。
作者指出,這一系統(tǒng)具備四個(gè)強(qiáng)大的能力,包括識(shí)別開放世界物體、識(shí)別細(xì)粒度的導(dǎo)航標(biāo)志物體、糾正其他專家在討論中的錯(cuò)誤信息,以及排除不一致的移動(dòng)決策。
此外,作者還提出,深入研究如何有效利用仿真數(shù)據(jù)和大模型從海量數(shù)據(jù)中學(xué)到的先驗(yàn)知識(shí)是未來具身智能研究的發(fā)展方向。盡管受到數(shù)據(jù)規(guī)模和真實(shí)環(huán)境探索成本的限制,但大模型的進(jìn)展為具身智能提供了新方向,將推動(dòng)其發(fā)展。
在總體上,北大的DiscussNav系統(tǒng)代表了具身導(dǎo)航領(lǐng)域的一項(xiàng)重要突破,使機(jī)器人能夠根據(jù)口頭指令自如導(dǎo)航,同時(shí)具備零樣本能力,這對(duì)未來的智能機(jī)器人和自動(dòng)化應(yīng)用具有重要意義。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請(qǐng)謹(jǐn)慎對(duì)待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。
近日,德國柏林國際電子消費(fèi)品展覽會(huì)(IFA2024)隆重舉辦。憑借在核心技術(shù)、產(chǎn)品設(shè)計(jì)及應(yīng)用方面的創(chuàng)新變革,全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)成功斬獲兩項(xiàng)“IFA全球產(chǎn)品設(shè)計(jì)創(chuàng)新大獎(jiǎng)”金獎(jiǎng),有力證明了其在全球市場的強(qiáng)大影響力。
近日,中國家電及消費(fèi)電子博覽會(huì)(AWE 2024)隆重開幕。全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)攜多款創(chuàng)新技術(shù)和新品亮相,以敢為精神勇闖技術(shù)無人區(qū),斬獲四項(xiàng)AWE 2024艾普蘭大獎(jiǎng)。
“以前都要去窗口辦,一套流程下來都要半個(gè)月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
由世界人工智能大會(huì)組委會(huì)、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會(huì)共同指導(dǎo),由上海市人工智能行業(yè)協(xié)會(huì)聯(lián)合上海人工智能實(shí)驗(yàn)室、上海臨港經(jīng)濟(jì)發(fā)展(集團(tuán))有限公司、開放原子開源基金會(huì)主辦的“2024全球開發(fā)者先鋒大會(huì)”,將于2024年3月23日至24日舉辦。