家庭能源智聯(lián)自由 海辰儲能發(fā)布首套免安裝家庭微網(wǎng)系統(tǒng)HeroESOpenAI發(fā)布o(jì)3:AI 推理能力的重大突破,得分高達(dá)87.5%亞馬遜云科技推出Amazon Q Developer新功能小象超市,摸著美團(tuán)外賣出海E Ink元太科技連三年入選道瓊可持續(xù)雙指數(shù)撬動6000億GTV后,抖音計劃偷襲美團(tuán)大本營AGI Open Network(AON):賦能每個人創(chuàng)建、部署和貨幣化AI Agent貸款利率史上最低了嗎?東融教你看懂歷年啥水平“客服來電”有詐?抖音客服上線“驗證助手”助用戶識別詐騙OpenAI新模型GPT-5研發(fā)未達(dá)預(yù)期:成本高昂 效果不佳曝天馬打入果鏈:為蘋果HomePod供應(yīng)LCD屏 每塊屏僅10美元曝OPPO或首發(fā)新款天璣次旗艦芯片 兩大子品牌Q2發(fā)力諾基亞攜手阿聯(lián)酋運(yùn)營商e&,展示全球首個固網(wǎng)游戲端到端網(wǎng)絡(luò)切片方案零下25℃制熱26℃!海爾水暖通黑科技亮相冰雪大世界三星沒放棄曲面屏開發(fā)!最新專利曝光暗示有望回歸三大運(yùn)營商11月成績單:用戶數(shù)據(jù)增幅放緩打造下一個英偉達(dá),孫正義的2026芯片計劃曝光瞭望2025全球6G技術(shù)發(fā)展趨勢AI時代云安全新范式,暢捷通智能守護(hù)小微企業(yè)安全上云百川智能發(fā)布全鏈路領(lǐng)域增強(qiáng)金融大模型 Baichuan4-Finance
  • 首頁 > 企業(yè)IT頻道 > 人工智能

    帶記憶的超級GPT智能體,能做飯、煮咖啡、整理家務(wù)

      本文來自于微信公眾號 AIGC開放社區(qū)(ID:AIGCOPEN),作者:AIGC開放社區(qū)。

      隨著AI技術(shù)的快速迭代,Alexa、Siri、小度、天貓精靈等語音助手得到了廣泛應(yīng)用。但在自然語言理解和完成復(fù)雜任務(wù)方面仍然有限。

      相比文本的標(biāo)準(zhǔn)格式,語音充滿復(fù)雜性和多樣性(例如,地方話),傳統(tǒng)方法很難適應(yīng)不同用戶的自定義語言,因此,語音助手需要針對固定領(lǐng)域設(shè)計語義解析方案,而無法對完全開放的語言進(jìn)行建模。

      為了解決這一難題,卡內(nèi)基梅隆大學(xué)的研究人員基于大語言模型、視覺模型開發(fā)了HELPER。

      該模型采用了檢索增強(qiáng)的大語言模型提示方法,可以將人機(jī)對話、指令和錯誤糾正轉(zhuǎn)換為一系列參數(shù)化的視覺運(yùn)動。

      同時在成功執(zhí)行指令后,HELPER會將語言指令和執(zhí)行計劃作為記憶進(jìn)行存儲。

      當(dāng)用戶再次提出類似請求時,HELPER會自動檢索相關(guān)記憶并進(jìn)行適當(dāng)修改來滿足新的要求,從而實現(xiàn)個性化交互。

      在TEACh的實驗數(shù)據(jù)顯示,從對話中推斷步驟的測試中,HELPER的任務(wù)成功率和目標(biāo)條件成功率分別提高了1.7倍和2.1倍,超過了之前最好的模型。在從歷史對話中執(zhí)行任務(wù)中,HELPER也取得了絕佳的效果。

      研究人員用物理模擬的方式展示了多個示例,HELPER可以進(jìn)行洗鍋、煮咖啡、做面包、整理卡片、制作飲料等一系列擬人化操作,并且你只需要詳細(xì)的告訴它一次就能記住你的需求,以后無需多說就能照著做。

      從論文內(nèi)容來看,HELPER的技術(shù)架構(gòu)主要由規(guī)劃器、執(zhí)行器和視覺語言模型三大塊組成。

      規(guī)劃器

      該模塊利用檢索增強(qiáng)的大語言模型來進(jìn)行語義解析和生成一系列執(zhí)行計劃,同時配備了一個文本到程序的外部記憶存儲器,相當(dāng)于該模型的“大腦”。

      在進(jìn)行語言解析時,規(guī)劃器會先基于當(dāng)前語言的輸入,使用大語言模型的編碼器計算輸入文本的向量表示,然后檢索出記憶庫中語義最相關(guān)的若干條記錄,將其中的文本-程序?qū)ψ鳛長LM的文本示例,隨后讓LLM生成新的程序。

      生成的程序使用Python語言描述,涵蓋一系列參數(shù)化的視覺運(yùn)動函數(shù),如pickup(X)、goto(X)等,同時也負(fù)責(zé)處理執(zhí)行失敗后的重新規(guī)劃。

      例如,當(dāng)某個動作執(zhí)行失敗時,系統(tǒng)會調(diào)用外部的視覺語言模型來分析失敗原因并生成文本反饋, 規(guī)劃器隨后會根據(jù)反饋提示LLM生成修正后的新程序。

      此外, 規(guī)劃器也會在任務(wù)成功執(zhí)行后,將用戶指令語言和對應(yīng)的執(zhí)行程序加入記憶庫中,實現(xiàn)個性化學(xué)習(xí)。

      執(zhí)行器

      該模塊主要負(fù)責(zé)解析規(guī)劃器生成的程序,并基于當(dāng)前環(huán)境執(zhí)行指令操作,具體操作如下:

    圖片

      場景解析器:構(gòu)建環(huán)境的語義地圖、占用地圖,以及通過目標(biāo)檢測跟蹤對象信息。

      動作執(zhí)行器:將程序中的函數(shù)調(diào)用翻譯成具體的導(dǎo)航和操作動作執(zhí)行。

      前提檢查器:在執(zhí)行每個動作前,驗證必要的前提條件是否滿足。

      位置檢查器:當(dāng)需要找到不在場景地圖中的目標(biāo)物體時,該模塊會提示LLM生成可能的搜索位置。

      簡單來說,執(zhí)行器模塊相當(dāng)于HELPER的“四肢”,用來執(zhí)行具體的內(nèi)容。

      視覺語言模型

      當(dāng)具體計劃執(zhí)行失敗時,系統(tǒng)需要分析失敗原因。所以,HELPER使用了視覺語言模型ALIGN進(jìn)行糾錯、審查。

      方法是將當(dāng)前視覺輸入與一系列預(yù)定義的錯誤文本進(jìn)行匹配,輸出最相似的錯誤類型,幫助規(guī)劃器模塊快速找到錯誤所在。這種方法比簡單的像素對比判斷故障類型更加精準(zhǔn)和通用。

      文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹(jǐn)慎對待。投資者據(jù)此操作,風(fēng)險自擔(dān)。

    即時

    新聞

    明火炊具市場:三季度健康屬性貫穿全類目

    奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。

    企業(yè)IT

    重慶創(chuàng)新公積金應(yīng)用,“區(qū)塊鏈+政務(wù)服務(wù)”顯成效

    “以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。

    3C消費(fèi)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,高能實力,創(chuàng)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實質(zhì)性的幫助,雙十一期間低至2799元,性價比很高,簡直是創(chuàng)作者們的首選。

    研究

    中國信通院羅松:深度解讀《工業(yè)互聯(lián)網(wǎng)標(biāo)識解析體系

    9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會——工業(yè)互聯(lián)網(wǎng)標(biāo)識解析專題論壇在沈陽成功舉辦。