本文來(lái)自于微信公眾號(hào) AIGC開(kāi)放社區(qū)(ID:AIGCOPEN),作者:AIGC開(kāi)放社區(qū)。
隨著AI技術(shù)的快速迭代,Alexa、Siri、小度、天貓精靈等語(yǔ)音助手得到了廣泛應(yīng)用。但在自然語(yǔ)言理解和完成復(fù)雜任務(wù)方面仍然有限。
相比文本的標(biāo)準(zhǔn)格式,語(yǔ)音充滿復(fù)雜性和多樣性(例如,地方話),傳統(tǒng)方法很難適應(yīng)不同用戶的自定義語(yǔ)言,因此,語(yǔ)音助手需要針對(duì)固定領(lǐng)域設(shè)計(jì)語(yǔ)義解析方案,而無(wú)法對(duì)完全開(kāi)放的語(yǔ)言進(jìn)行建模。
為了解決這一難題,卡內(nèi)基梅隆大學(xué)的研究人員基于大語(yǔ)言模型、視覺(jué)模型開(kāi)發(fā)了HELPER。
該模型采用了檢索增強(qiáng)的大語(yǔ)言模型提示方法,可以將人機(jī)對(duì)話、指令和錯(cuò)誤糾正轉(zhuǎn)換為一系列參數(shù)化的視覺(jué)運(yùn)動(dòng)。
同時(shí)在成功執(zhí)行指令后,HELPER會(huì)將語(yǔ)言指令和執(zhí)行計(jì)劃作為記憶進(jìn)行存儲(chǔ)。
當(dāng)用戶再次提出類(lèi)似請(qǐng)求時(shí),HELPER會(huì)自動(dòng)檢索相關(guān)記憶并進(jìn)行適當(dāng)修改來(lái)滿足新的要求,從而實(shí)現(xiàn)個(gè)性化交互。
在TEACh的實(shí)驗(yàn)數(shù)據(jù)顯示,從對(duì)話中推斷步驟的測(cè)試中,HELPER的任務(wù)成功率和目標(biāo)條件成功率分別提高了1.7倍和2.1倍,超過(guò)了之前最好的模型。在從歷史對(duì)話中執(zhí)行任務(wù)中,HELPER也取得了絕佳的效果。
研究人員用物理模擬的方式展示了多個(gè)示例,HELPER可以進(jìn)行洗鍋、煮咖啡、做面包、整理卡片、制作飲料等一系列擬人化操作,并且你只需要詳細(xì)的告訴它一次就能記住你的需求,以后無(wú)需多說(shuō)就能照著做。
從論文內(nèi)容來(lái)看,HELPER的技術(shù)架構(gòu)主要由規(guī)劃器、執(zhí)行器和視覺(jué)語(yǔ)言模型三大塊組成。
規(guī)劃器
該模塊利用檢索增強(qiáng)的大語(yǔ)言模型來(lái)進(jìn)行語(yǔ)義解析和生成一系列執(zhí)行計(jì)劃,同時(shí)配備了一個(gè)文本到程序的外部記憶存儲(chǔ)器,相當(dāng)于該模型的“大腦”。
在進(jìn)行語(yǔ)言解析時(shí),規(guī)劃器會(huì)先基于當(dāng)前語(yǔ)言的輸入,使用大語(yǔ)言模型的編碼器計(jì)算輸入文本的向量表示,然后檢索出記憶庫(kù)中語(yǔ)義最相關(guān)的若干條記錄,將其中的文本-程序?qū)ψ鳛長(zhǎng)LM的文本示例,隨后讓LLM生成新的程序。
生成的程序使用Python語(yǔ)言描述,涵蓋一系列參數(shù)化的視覺(jué)運(yùn)動(dòng)函數(shù),如pickup(X)、goto(X)等,同時(shí)也負(fù)責(zé)處理執(zhí)行失敗后的重新規(guī)劃。
例如,當(dāng)某個(gè)動(dòng)作執(zhí)行失敗時(shí),系統(tǒng)會(huì)調(diào)用外部的視覺(jué)語(yǔ)言模型來(lái)分析失敗原因并生成文本反饋, 規(guī)劃器隨后會(huì)根據(jù)反饋提示LLM生成修正后的新程序。
此外, 規(guī)劃器也會(huì)在任務(wù)成功執(zhí)行后,將用戶指令語(yǔ)言和對(duì)應(yīng)的執(zhí)行程序加入記憶庫(kù)中,實(shí)現(xiàn)個(gè)性化學(xué)習(xí)。
執(zhí)行器
該模塊主要負(fù)責(zé)解析規(guī)劃器生成的程序,并基于當(dāng)前環(huán)境執(zhí)行指令操作,具體操作如下:
場(chǎng)景解析器:構(gòu)建環(huán)境的語(yǔ)義地圖、占用地圖,以及通過(guò)目標(biāo)檢測(cè)跟蹤對(duì)象信息。
動(dòng)作執(zhí)行器:將程序中的函數(shù)調(diào)用翻譯成具體的導(dǎo)航和操作動(dòng)作執(zhí)行。
前提檢查器:在執(zhí)行每個(gè)動(dòng)作前,驗(yàn)證必要的前提條件是否滿足。
位置檢查器:當(dāng)需要找到不在場(chǎng)景地圖中的目標(biāo)物體時(shí),該模塊會(huì)提示LLM生成可能的搜索位置。
簡(jiǎn)單來(lái)說(shuō),執(zhí)行器模塊相當(dāng)于HELPER的“四肢”,用來(lái)執(zhí)行具體的內(nèi)容。
視覺(jué)語(yǔ)言模型
當(dāng)具體計(jì)劃執(zhí)行失敗時(shí),系統(tǒng)需要分析失敗原因。所以,HELPER使用了視覺(jué)語(yǔ)言模型ALIGN進(jìn)行糾錯(cuò)、審查。
方法是將當(dāng)前視覺(jué)輸入與一系列預(yù)定義的錯(cuò)誤文本進(jìn)行匹配,輸出最相似的錯(cuò)誤類(lèi)型,幫助規(guī)劃器模塊快速找到錯(cuò)誤所在。這種方法比簡(jiǎn)單的像素對(duì)比判斷故障類(lèi)型更加精準(zhǔn)和通用。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請(qǐng)謹(jǐn)慎對(duì)待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。
近日,德國(guó)柏林國(guó)際電子消費(fèi)品展覽會(huì)(IFA2024)隆重舉辦。憑借在核心技術(shù)、產(chǎn)品設(shè)計(jì)及應(yīng)用方面的創(chuàng)新變革,全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)成功斬獲兩項(xiàng)“IFA全球產(chǎn)品設(shè)計(jì)創(chuàng)新大獎(jiǎng)”金獎(jiǎng),有力證明了其在全球市場(chǎng)的強(qiáng)大影響力。
近日,中國(guó)家電及消費(fèi)電子博覽會(huì)(AWE 2024)隆重開(kāi)幕。全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)攜多款創(chuàng)新技術(shù)和新品亮相,以敢為精神勇闖技術(shù)無(wú)人區(qū),斬獲四項(xiàng)AWE 2024艾普蘭大獎(jiǎng)。
“以前都要去窗口辦,一套流程下來(lái)都要半個(gè)月了,現(xiàn)在方便多了!”打開(kāi)“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
由世界人工智能大會(huì)組委會(huì)、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會(huì)共同指導(dǎo),由上海市人工智能行業(yè)協(xié)會(huì)聯(lián)合上海人工智能實(shí)驗(yàn)室、上海臨港經(jīng)濟(jì)發(fā)展(集團(tuán))有限公司、開(kāi)放原子開(kāi)源基金會(huì)主辦的“2024全球開(kāi)發(fā)者先鋒大會(huì)”,將于2024年3月23日至24日舉辦。