還能再漲23%!AI寵兒NVIDIA成大摩明年首選AMD FSR 4.0將與RX 9070 XT顯卡同步登場羅永浩細(xì)紅線最新進(jìn)展,暫別AR,迎來AI Jarvis構(gòu)建堅(jiān)實(shí)數(shù)據(jù)地基,南京打造可信數(shù)據(jù)空間引領(lǐng)數(shù)字城市建設(shè)下單前先比價(jià)不花冤枉錢 同款圖書京東價(jià)低于抖音6折日媒感慨中國電動汽車/智駕遙遙領(lǐng)先:本田、日產(chǎn)、三菱合并也沒戲消委會吹風(fēng)機(jī)品質(zhì)檢測結(jié)果揭曉 徠芬獨(dú)占鰲頭 共話新質(zhì)營銷力,2024梅花數(shù)據(jù)峰會圓滿落幕索尼影像專業(yè)服務(wù) PRO Support 升級,成為會員至少需注冊 2 臺 α 全畫幅相機(jī)、3 支 G 大師鏡頭消息稱vivo加碼電池軍備競賽:6500mAh 旗艦機(jī)+7500mAh中端機(jī)寶馬M8雙門轎跑車明年年初將停產(chǎn),后續(xù)無2026款車型比亞迪:2025 款漢家族車型城市領(lǐng)航智駕功能開啟內(nèi)測雷神預(yù)告2025年首次出席CES 將發(fā)布三款不同技術(shù)原理智能眼鏡realme真我全球首發(fā)聯(lián)發(fā)科天璣 8400 耐玩戰(zhàn)神共創(chuàng)計(jì)劃iQOO Z9 Turbo長續(xù)航版手機(jī)被曝電池加大到6400mAh,搭驍龍 8s Gen 3處理器普及放緩 銷量大跌:曝保時捷將重新評估電動汽車計(jì)劃來京東參與榮耀Magic7 RSR 保時捷設(shè)計(jì)預(yù)售 享365天只換不修國補(bǔ)期間電視迎來換機(jī)潮,最暢銷MiniLED品牌花落誰家?美團(tuán)旗下微信社群團(tuán)購業(yè)務(wù)“團(tuán)買買”宣布年底停運(yùn)消息稱微軟正與第三方廠商洽談,試圖合作推出Xbox游戲掌機(jī)設(shè)備
  • 首頁 > 云計(jì)算頻道 > 大模型

    機(jī)器人也不怕被忽悠瘸了(doge)

    2023年08月07日 10:29:29   來源:量子位

      豐色 發(fā)自 凹非寺

      量子位 | 公眾號 QbitAI

      四足機(jī)器人走著走著突然斷了一條腿,還能繼續(xù)前進(jìn)嗎?

      來自谷歌和密歇根大學(xué)的最新成果,給出了非?隙ǖ拇鸢。

      他們發(fā)明的一種叫做AutoRobotics-Zero(ARZ)的搜索算法,既不靠大模型,也不用神經(jīng)網(wǎng)絡(luò),可以讓機(jī)器人一旦遇到劇烈的環(huán)境變化,就立刻自動更改行動策略。

      譬如斷腿照樣走:

      相比之下,別的神經(jīng)網(wǎng)絡(luò)方法還是這樣?jì)饍旱?手動狗頭):

      英偉達(dá)AI科學(xué)家Jim Fan評價(jià):

      這個方法非常令人耳目一新。

      機(jī)器人再也不怕被忽悠瘸了

      具體如何實(shí)現(xiàn)?

      讓機(jī)器人斷腿繼續(xù)走的秘密

      快速適應(yīng)環(huán)境變化是機(jī)器人部署到現(xiàn)實(shí)世界中非常重要的一項(xiàng)技能。

      但目前常用的循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)技術(shù)存在策略單一、重參數(shù)化導(dǎo)致推理時間長、可解釋性差等問題。

      為此,作者直接“另起爐灶”,基于AutoML Zero技術(shù)開發(fā)了這項(xiàng)全新的四足機(jī)器人環(huán)境自適應(yīng)策略:AutoRobotics-Zero(ARZ)。

      關(guān)于AutoML Zero,不熟悉的朋友再了解一下:

      它是2020年誕生的一種“從零開始的自動機(jī)器學(xué)習(xí)”算法,出自谷歌大腦Quoc V.Le大神等人之手,僅使用基本數(shù)學(xué)運(yùn)算為基礎(chǔ),它就能從一段空程序開始,自動發(fā)現(xiàn)解決機(jī)器學(xué)習(xí)任務(wù)的計(jì)算機(jī)程序。

      在此,作者也將各種機(jī)器人行動策略表示為程序,而非神經(jīng)網(wǎng)絡(luò),并僅使用基本的數(shù)學(xué)運(yùn)算作為構(gòu)建塊,從頭開始演化出可適應(yīng)性策略及其初始參數(shù)。

      隨著不斷的進(jìn)化,該方法能夠發(fā)現(xiàn)控制程序(即Python代碼,如下圖所示),從而在與環(huán)境互動的同時,利用感覺運(yùn)動經(jīng)驗(yàn)來微調(diào)策略參數(shù)或改變控制邏輯(也就是當(dāng)隨機(jī)分支在隨機(jī)時間突然中斷時運(yùn)行新的分支)。最終就可以在不斷變化的環(huán)境下實(shí)現(xiàn)自適應(yīng)。

      具體而言,ARZ的算法由兩個核心函數(shù)組成:StartEpisode()和GetAction(),前者在機(jī)器人與環(huán)境交互的每個階段開始時就開始運(yùn)行,后者負(fù)責(zé)調(diào)整內(nèi)存狀態(tài)(因?yàn)椴呗员槐硎緸樽饔糜谔摂M內(nèi)存的線性寄存器)和代碼修改。

      在進(jìn)化搜索上,ARZ則采用兩種控制算法:負(fù)責(zé)多目標(biāo)搜索的非支配排序遺傳算法II(NSGA-II)和負(fù)責(zé)單目標(biāo)搜索的正則化進(jìn)化算法(RegEvo)。

      如下圖所示進(jìn)化控制算法的評估過程,單目標(biāo)進(jìn)化搜索使用平均情節(jié)獎勵作為算法的適應(yīng)度,而多目標(biāo)搜索優(yōu)化了兩個適應(yīng)度指標(biāo):平均獎勵(第一個返回值)和每次episode的平均步數(shù)(第二個返回值)。

      以及作者介紹,為了預(yù)測動態(tài)環(huán)境中給定情況下的最佳行動,策略必須能夠?qū)?dāng)前情況與過去的情況和行動進(jìn)行比較。

      因此,ARZ所有策略都被設(shè)計(jì)為“有狀態(tài)的”,即內(nèi)存內(nèi)容在一個事件的時間步長內(nèi)是持續(xù)存在的,由此才得以完成自適應(yīng)。

      此外,有所不同的是,該方法還去掉了原始AutoML Zero技術(shù)中的監(jiān)督學(xué)習(xí)模式,最終無需明確接收任何監(jiān)督輸入(如獎勵信號)就可以讓進(jìn)化程序在整個生命周期內(nèi)進(jìn)行調(diào)整。

      比神經(jīng)網(wǎng)絡(luò)更有效

      作者用宇樹科技的“萊卡狗”(Laikago)四足機(jī)器人模擬器在模擬環(huán)境中進(jìn)行了效果測試。

      最終,只有ARZ可以進(jìn)化出在隨機(jī)斷腿情況下保持向前運(yùn)動和避免摔倒的自適應(yīng)策略。

      相比之下,進(jìn)行了全面超參數(shù)調(diào)整并使用最先進(jìn)強(qiáng)化學(xué)習(xí)方法完成訓(xùn)練的MLP和LSTM基線都失敗了:

      要么不具有魯棒性,不能每次都成功;

      要么一次都沒有成功過。

      需要注意的,這還是在ARZ使用的參數(shù)和FLOPS比MLP和LSTM都少得多的情況下。

      下圖則是統(tǒng)計(jì)數(shù)據(jù):只要任何一列中的reward<400就表示該腿的大多數(shù)測試都以摔倒告終。

      我們可以再次看到,除了ARZ,只有MLP方法能夠在右后腿成功一次。

      除了以上這些,ARZ還顯現(xiàn)出了目前的RNN技術(shù)都做不到的可解釋性。

      如圖所示,它在斷腿案例中發(fā)現(xiàn)的各種策略可以都符號化為如下表示:

      最后,除了機(jī)器人斷腿走路,ARZ還可以在“具有隨機(jī)傾斜軌道的cartpole系統(tǒng)”中自動保持平衡。

      文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹(jǐn)慎對待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。

    即時

    新聞

    明火炊具市場:三季度健康屬性貫穿全類目

    奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。

    企業(yè)IT

    重慶創(chuàng)新公積金應(yīng)用,“區(qū)塊鏈+政務(wù)服務(wù)”顯成效

    “以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。

    3C消費(fèi)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,高能實(shí)力,創(chuàng)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實(shí)質(zhì)性的幫助,雙十一期間低至2799元,性價(jià)比很高,簡直是創(chuàng)作者們的首選。