OpenAI重金押注，機(jī)器人NEO世界模型登場！機(jī)器人迎來ChatGPT時刻？

　　剛剛，OpenAI重金押注的人形機(jī)器人初創(chuàng)1X終于揭秘了背后的「世界模型」——它能夠根據(jù)真實(shí)數(shù)據(jù)，生成針對不同場景的中的行為預(yù)測!機(jī)器人領(lǐng)域的ChatGPT時刻，或許真的要來了。

　　月初，OpenAI投下重注人形機(jī)器人初創(chuàng)1X，終于放出了NEO官宣視頻。

　　它的首次現(xiàn)身，就驚艷到所有人。

　　不僅外觀上，被戲稱為「穿著西裝的人」，而且在能力上，幫女主拎包、一起下廚，妥妥的一個通用家庭機(jī)器人。

　　它專為人類設(shè)計，去完成我們不愿意做的各種家庭任務(wù)，比如清潔、整理等等。

　　時隔半個月，1X終于發(fā)布了NEO背后的「世界模型」。

　　有了這個虛擬世界模擬器，NEO可以預(yù)測有用的物體交互。

　　簡言之，它們完全可以生成，各種環(huán)境中的視頻畫面。

　　比如，疊一件T恤、拉開窗簾這類可變性物體，家里隨處可見，但卻很難將其放入虛擬世界模擬器中。

　　有趣的是，1X AI副總裁Eric Jang稱，他們在辦公室專門放了一個全身鏡，這樣「模型」可以在鏡子中，認(rèn)出自己。

　　NEO現(xiàn)在有了自我反思的能力，不過，自我意識還沒覺醒。

　　通過理解世界，并與之交互，1X「世界模型」可以生成高保真視頻，并在神經(jīng)網(wǎng)絡(luò)中，重新規(guī)劃、模擬和評估。

　　這也是世界模型，之于機(jī)器人的重要性。

　　1X創(chuàng)始人兼CEO Bernt Bornich表示，首次證明了人形機(jī)器人數(shù)據(jù)，正顯著地推進(jìn)Scaling Law。

　　谷歌DeepMind機(jī)器人高級研究員Ted Xiao表示，1X的「學(xué)習(xí)型」世界模型能夠隨著驚艷、物理交互數(shù)據(jù)不斷改進(jìn)。

　　- 世界模型很可能是在多智能體環(huán)境中，實(shí)現(xiàn)可重復(fù)和可擴(kuò)展評估的唯一前進(jìn)的方向。(參加自動駕駛中世界模型評估成功案例)

　　- 基于2024年AI技術(shù)，比基于去年的技術(shù)更容易構(gòu)建世界模型。

　　- 一旦世界模型足以用于評估，它們很可能已經(jīng)至少完成了90%的訓(xùn)練工作。

　　機(jī)器人「世界模型」來了!

　　直白講，世界模型就是一種計算機(jī)程序。

　　它能夠想象出，世界如何隨著智能體的行為而演變。

　　基于視頻生成和自動駕駛汽車世界模型研究，1X由此訓(xùn)練出自家的世界模型，作為NEO的虛擬模擬器。

　　從相同的起始圖像序列出發(fā)，1X世界模型可以根據(jù)不同機(jī)器人的動作，預(yù)測多種可能的未來場景。

　　左:去左側(cè)的門;中:彈空氣吉他;右:去右側(cè)的門

　　那么，具身機(jī)器人的存在，最重要的是能夠與物理世界交互。

　　而在萬千繁雜的世界中，如何有效交互就成為了難題。

　　世界模型，能夠幫助NEO完成精準(zhǔn)地交互，比如剛體、物體掉落的效果、不完全可見物體(杯子)、可變形物體(窗簾、衣物)、鉸接物體(門、抽屜、椅子)。

　　它能夠?qū)⒉捅P放入瀝水架子中。

　　它還可以拉開窗簾。

　　從抽屜拿出東西等等。

　　具身機(jī)器人難題——評估

　　另外，世界模型解決了構(gòu)建通用機(jī)器人時，一個非常實(shí)際但常被忽視的挑戰(zhàn):評估。

　　假設(shè)訓(xùn)練機(jī)器人執(zhí)行1000個獨(dú)特的任務(wù)，那么很難判斷一個新模型是否真的在所有任務(wù)上，都比之前的模型有所改進(jìn)。

　　更令人困擾的是，即便模型權(quán)重相同，但由于環(huán)境背景或環(huán)境光線的細(xì)微變化，性能可能在短短幾天內(nèi)下降。

　　研究人員訓(xùn)練了一個機(jī)器人疊T恤的模型，性能在50天內(nèi)逐漸下降。

　　而且，如果環(huán)境不斷持續(xù)變化，實(shí)驗(yàn)的可重復(fù)性便成為難題。

　　尤其是，在家庭、辦公室這樣的環(huán)境中，去評估多任務(wù)系統(tǒng)，這一問題就會變得更加棘手。

　　基于這些因素，使得在真實(shí)世界中，開啟嚴(yán)謹(jǐn)?shù)臋C(jī)器人研究變得異常困難。

　　當(dāng)scaling數(shù)據(jù)、算力、模型規(guī)模時，AI系統(tǒng)能力將如何擴(kuò)展的問題，可以通過精準(zhǔn)測量進(jìn)行預(yù)測。

　　Scaling Law已經(jīng)成為ChatGPT這樣的通用AI系統(tǒng)，性能提升的有力支撐。

　　因此，如果機(jī)器人領(lǐng)域想要迎來屬于自己的「ChatGPT時刻」，必須首先建立起它的「Scaling Law」。

　　從原生數(shù)據(jù)中學(xué)習(xí)，預(yù)測未來場景

　　基于物理模擬的引擎，諸如Bullet、Mujoco、Isaac Sim、Drake，已成為快速測試機(jī)器人策略的合理方法。

　　而且，這些模擬器可以重置、重復(fù)使用，進(jìn)而研究人員能夠仔細(xì)比較不同控制算法。

　　然而，這些模擬器主要是為「剛體動力學(xué)」設(shè)計的，并且需要大量人工數(shù)據(jù)收集。

　　那么，如何讓模擬機(jī)器人打開一盒咖啡濾紙、用刀切水果、擰開一罐果醬，或與人類、其他AI智能體互動呢?

　　家庭環(huán)境中，常見的日常物品、寵物很難模擬，訓(xùn)練機(jī)器人極度缺少真實(shí)世界的用例。

　　因此，在有限數(shù)量任務(wù)中，對機(jī)器人進(jìn)行小規(guī)模真實(shí)/模擬評估，并不能準(zhǔn)確預(yù)測其在真實(shí)世界中的表現(xiàn)。

　　也就是說，這樣訓(xùn)練出的機(jī)器人，很難具備真實(shí)世界「通用泛化」能力。

　　1X研究團(tuán)隊采取了全新的方法，來評估通過機(jī)器人:

　　直接從原生傳感器數(shù)據(jù)中學(xué)習(xí)模擬，并利用它在數(shù)百萬情境中，評估機(jī)器人策略。

　　這種「世界模型」方法的優(yōu)勢在于，可以一鍵獲得真實(shí)世界所有復(fù)雜數(shù)據(jù)，而無需手動創(chuàng)建資產(chǎn)。

　　過去一年里，1X團(tuán)隊收集了超5000小時EVE人形機(jī)器人數(shù)據(jù)。

　　這些數(shù)據(jù)包括，機(jī)器人在家庭和辦公室環(huán)境中，執(zhí)行各種移動操作任務(wù)，以及與人互動的場景。

　　然后，他們將視頻和動作數(shù)據(jù)結(jié)合，訓(xùn)出一個世界模型。

　　這個模型非常強(qiáng)大，不僅能夠根據(jù)所觀察到的情況，執(zhí)行動作，還能生成視頻，預(yù)測未來的場景畫面。

　　動作可控，「腦補(bǔ)」彈空氣吉他

　　1X世界模型能夠根據(jù)不同的動作指令，生成多樣化的輸出。

　　如下圖所示，展示了基于四種不同動作序列，生成的各種結(jié)果。這些動作序列，都是從相同的初始畫面幀開始。

　　與之前一樣，這些所展示的示例，都不包含在訓(xùn)練數(shù)據(jù)中。

　　世界模型的主要價值在于，能夠模擬物體之間的交互。

　　在接下來的模擬生成中，研究人員為模型提供相同的初始場景，并設(shè)置了三組不同的抓取盒子的動作。

　　在每個模擬場景中，被抓取的盒子，會隨機(jī)械手運(yùn)動而被提起和移動，而其他未被抓取盒子紋絲不動，保持原位。

　　即便沒有給出具體的動作指令，世界模型也能生成看起來合情合理的視頻。

　　比如說，它能自己在前行時，避開行人和障礙物，這種行為是很符合常理的。

　　模擬疊T恤，長期任務(wù)也在行

　　此外，1X還可以生成長視頻。

　　正如開頭所展示的例子，NEO模擬了一個完整的T恤折疊演示。

　　值得一提的是，T恤等可變形物體，往往在「剛體模擬器」中難以實(shí)現(xiàn)。

　　當(dāng)前存在的問題

　　不過，1X的世界模型同樣存在一些問題。

　　物體一致性

　　比如，模型在與物體交互的過程中，可能無法保持物體的形狀的和顏色一致性。

　　尤其是當(dāng)物體被遮擋，或者以不理想角度呈現(xiàn)時，世界模型在生成視頻過程中，物體外觀可能會出現(xiàn)變形。

　　有時，物體甚至完全消失不見。

　　比如，在執(zhí)行拿起紅色小球并放置在盤子上這一動作時，球在過程中莫名其妙地就消失了。

　　物理學(xué)定律

　　而且，它也不懂物理世界中的基本定律。

　　有時候，NEO能夠?qū)ξ锢韺傩杂凶匀坏睦斫�，比如松開機(jī)械手之后，勺子會掉落到桌子上。

　　但在很多情況下，生成的結(jié)果并沒有遵循物理法則，比如下面這個，盤子就直接懸在了空中。

　　這說明，世界模型并不理解所有物體，都受到豎直向下的重力作用。

　　自我認(rèn)知

　　另外，研究人員讓AI機(jī)器人EVE走到鏡子前，觀察其是否會生成與鏡子中的相對應(yīng)的行為。

　　沒想到，它在抬起另一只手臂時，鏡子中沒有同步。

　　可見，現(xiàn)在1X模型沒有自我意識的表現(xiàn)。