3月10日,智元機器人正式發(fā)布首個通用具身基座大模型:智元啟元大模型(Genie Operator-1)。
智元開創(chuàng)性地提出了Vision-Language-Latent-Action (ViLLA) 架構,該架構由VLM(多模態(tài)大模型) + MoE(混合專家)組成。其中VLM借助海量互聯(lián)網(wǎng)圖文數(shù)據(jù)獲得通用場景感知和語言理解能力,MoE中的Latent Planner(隱式規(guī)劃器)借助大量跨本體和人類操作數(shù)據(jù)獲得通用的動作理解能力,MoE中的Action Expert(動作專家)借助百萬真機數(shù)據(jù)獲得精細的動作執(zhí)行能力,三者環(huán)環(huán)相扣,實現(xiàn)了可以利用人類視頻學習,完成小樣本快速泛化,降低了具身智能門檻,并成功部署到智元多款機器人本體,持續(xù)進化,將具身智能推上一個新臺階。
GO-1:具身智能的全面創(chuàng)新
GO-1大模型借助人類和多種機器人數(shù)據(jù),讓機器人獲得了革命性的學習能力,可泛化應用到各類的環(huán)境和物品中,快速適應新任務、學習新技能。同時,它還支持部署到不同的機器人本體,高效地完成落地,并在實際的使用中持續(xù)不斷地快速進化。
這一系列的特點可以歸納為4個方面:
●人類視頻學習:GO-1大模型可以結合互聯(lián)網(wǎng)視頻和真實人類示范進行學習,增強模型對人類行為的理解,更好地為人類服務。
●小樣本快速泛化:GO-1大模型具有強大的泛化能力,能夠在極少數(shù)據(jù)甚至零樣本下泛化到新場景、新任務,降低了具身模型的使用門檻,使得后訓練成本非常低。
●一腦多形:GO-1大模型是通用機器人策略模型,能夠在不同機器人形態(tài)之間遷移,快速適配到不同本體,群體升智。
●持續(xù)進化:GO-1大模型搭配智元一整套數(shù)據(jù)回流系統(tǒng),可以從實際執(zhí)行遇到的問題數(shù)據(jù)中持續(xù)進化學習,越用越聰明。
GO-1:VLA進化到ViLLA
GO-1大模型,基于具身領域的數(shù)字金字塔所構建,吸納了人類世界多種維度和類型的數(shù)據(jù),讓機器人在一開始就擁有了通用的場景感知和語言能力,通用的動作理解能力,以及精細的動作執(zhí)行力。
數(shù)字金字塔的底層是互聯(lián)網(wǎng)的大規(guī)模純文本與圖文數(shù)據(jù),可以幫助機器人理解通用知識和場景。在這之上是大規(guī)模人類操作/跨本體視頻,可以幫助機器人學習人類或者其他本體的動作操作模式。更上一層則是仿真數(shù)據(jù),用于增強泛化性,讓機器人適應不同場景、物體等。金字塔的頂層,則是高質量的真機示教數(shù)據(jù),用于訓練精準動作執(zhí)行。
現(xiàn)有的VLA(Vision-Language-Action)架構,未有利用到數(shù)字金字塔中大規(guī)模人類/跨本體操作視頻數(shù)據(jù),缺少了一個重要的數(shù)據(jù)來源,導致迭代的成本更高,進化的速度更慢。
那么,怎樣的架構才能充分利用好這些數(shù)據(jù)?
智元提出了全新的Vision-Language-Latent-Action (ViLLA) 架構。與VLA架構相比,ViLLA通過預測Latent Action Tokens(隱式動作標記),彌合了圖像-文本輸入與機器人執(zhí)行動作之間的鴻溝,能有效利用高質量的AgiBot World數(shù)據(jù)集以及互聯(lián)網(wǎng)大規(guī)模異構視頻數(shù)據(jù),增強策略的泛化能力;谠摷軜嫞窃蛟炝送ㄓ镁呱砘竽P——GO-1。它由VLM(語言視覺模型)和MoE(專家混合模型)組成,輸入為多相機的視覺信號、力覺信號、語言指令等多模態(tài)信息,直接輸出機器人的動作執(zhí)行序列。
這樣,GO-1大模型可以幫機器人完成全面的“基礎教育”和“職業(yè)教育”,機器人天然能適應新的場景,可以輕松面對多種多樣的環(huán)境和物體,快速學習新的操作。
用戶給出指令告訴機器人要做的事情,比如“掛衣服”,模型就可以根據(jù)看到的畫面,理解這句話對應的任務要求。然后模型根據(jù)之前訓練時看過的掛衣服數(shù)據(jù),設想這個過程應該包括哪些操作步驟,最后執(zhí)行這一連串的步驟,完成整個任務的操作。
在更深層的技術面,因為GO-1大模型在構建和訓練階段,學習了互聯(lián)網(wǎng)的大規(guī)模純文本和圖文數(shù)據(jù),所以能理解“掛衣服”在此情此景下的含義和要求;學習過人類操作視頻和其他機器人的各種操作視頻,所以能知道掛衣服這件事通常包括哪些環(huán)節(jié);學習過仿真的不同衣服、不同衣柜、不同房間,模擬過掛衣服的操作,所以能理解環(huán)節(jié)中對應的物體和環(huán)境并打通整個任務過程;最后,因為學習過真機的示教數(shù)據(jù),所以機器人能精準完成整個任務的操作。
具體來說,VLM作為通用具身基座大模型的主干網(wǎng)絡,繼承開源多模態(tài)大模型InternVL2.5-2B的權重,利用互聯(lián)網(wǎng)大規(guī)模純文本和圖文數(shù)據(jù),讓GO-1大模型具備了通用的場景感知和理解能力。
隱動作專家模型作為第一個專家模型,是GO-1大模型中隱式的規(guī)劃器,它利用到了大規(guī)模人類操作和跨本體操作視頻,讓模型具備動作的理解能力。
GO-1大模型的最后是作為動作預測器的動作專家模型,它利用高質量的仿真數(shù)據(jù)、真機數(shù)據(jù),讓模型具備了動作的精細執(zhí)行能力。
智元通用具身基座大模型GO-1的推出,標志著具身智能向通用化、開放化、智能化方向快速邁進:
●從單一任務到多種任務:機器人能夠在不同場景中執(zhí)行多種任務,而不需要針對每個新任務重新訓練。
●從封閉環(huán)境到開放世界:機器人不再局限于實驗室,而是可以適應多變的真實世界環(huán)境。
●從預設程序到指令泛化:機器人能夠理解自然語言指令,并根據(jù)語義進行組合推理,而不再局限于預設程序。
GO-1大模型將加速具身智能的普及,機器人將從依賴特定任務的工具,向著具備通用智能的自主體發(fā)展,在商業(yè)、工業(yè)、家庭等多領域發(fā)揮更大的作用,通向更加通用全能的智能未來。
文章內容僅供閱讀,不構成投資建議,請謹慎對待。投資者據(jù)此操作,風險自擔。
奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。
“以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關材料,僅幾秒鐘,重慶市民曾某的賬戶就打進了21600元。
華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實質性的幫助,雙十一期間低至2799元,性價比很高,簡直是創(chuàng)作者們的首選。
9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會——工業(yè)互聯(lián)網(wǎng)標識解析專題論壇在沈陽成功舉辦。