機(jī)器人ChatGPT時(shí)刻！英偉達(dá)開源世界大模型，完美模擬物理世界！

　　本文來自于微信公眾號 AIGC開放社區(qū)，作者:AIGC開放社區(qū)。

　　全球AI領(lǐng)導(dǎo)者NVIDIA(英偉達(dá))在2025年CES展會(huì)上，開源了全新世界大模型NVIDIA Cosmos。

　　Cosmos能從數(shù)據(jù)整合、訓(xùn)練再到定制各個(gè)開發(fā)階段的，大規(guī)模模擬、構(gòu)建物理世界的基礎(chǔ)模型，同時(shí)支持自定義微調(diào)。

　　例如，你想開發(fā)一個(gè)實(shí)體倉儲(chǔ)機(jī)器人，但沒有真實(shí)大型倉儲(chǔ)環(huán)境為機(jī)器人提供貨物搬運(yùn)、揀選、分揀等訓(xùn)練環(huán)境，通過Cosmos就能輕松創(chuàng)建一個(gè)模擬的物理倉儲(chǔ)環(huán)境，來訓(xùn)練、觀察、優(yōu)化機(jī)器人各種動(dòng)作。

　　在自動(dòng)駕駛領(lǐng)域，想觀察汽車在大雨、暴雪、地震等超惡劣環(huán)境中的表現(xiàn)同樣很難，而Cosmos可以輕松模擬這些環(huán)境，幫助開發(fā)者深度優(yōu)化智能汽車的開發(fā)流程。

　　NVIDIA創(chuàng)始人兼首席執(zhí)行官黃仁勛在演講中表示，“機(jī)器人的ChatGPT時(shí)刻即將到來。與大語言模型一樣，世界基礎(chǔ)模型對于推動(dòng)機(jī)器人和自動(dòng)駕駛汽車的發(fā)展至關(guān)重要，但并非所有開發(fā)者都具備訓(xùn)練自己模型的專業(yè)知識(shí)和資源。

　　所以，NVIDIA開發(fā)了Cosmos，讓物理AI大眾化，幫助每個(gè)開發(fā)者都能輕松開發(fā)通用實(shí)體機(jī)器人技術(shù)。”

　　Cosmos架構(gòu)介紹

　　Cosmos使用了基于Transformer的自回歸和擴(kuò)散雙架構(gòu)模型:自回歸模型專為視頻生成設(shè)計(jì)，基于輸入文本和過去的視頻幀預(yù)測下一個(gè)token。使用了Transformer解碼器架并進(jìn)行了關(guān)鍵修改用于世界模型開發(fā)。

　　3D RoPE(旋轉(zhuǎn)位置嵌入)分別對空間和時(shí)間維度進(jìn)行編碼，確保精確的視頻序列表示。交叉注意力層使文本輸入為世界生成提供了更好的控制。QK歸一化增強(qiáng)了訓(xùn)練穩(wěn)定性。該模型的預(yù)訓(xùn)練是逐步進(jìn)行的，從單個(gè)輸入幀預(yù)測多達(dá)17個(gè)未來幀開始，然后擴(kuò)展到34幀，最終達(dá)到121幀(或50000個(gè)token)。

　　擴(kuò)散模型因其能夠解構(gòu)訓(xùn)練數(shù)據(jù)并根據(jù)用戶輸入重建它，從而產(chǎn)生高質(zhì)量、逼真的輸出而廣受歡迎，用于生成圖像、視頻和音頻。

　　Cosmos的擴(kuò)散模型分為正向擴(kuò)散和反向擴(kuò)散兩個(gè)階段:在正向擴(kuò)散過程中，訓(xùn)練數(shù)據(jù)通過逐步添加高斯噪聲而逐漸被破壞，有效地將其轉(zhuǎn)化為純噪聲。

　　在反向擴(kuò)散過程中，模型學(xué)習(xí)逐步逆轉(zhuǎn)這種噪聲，通過去噪被破壞的輸入來恢復(fù)原始數(shù)據(jù)。一旦訓(xùn)練完成，擴(kuò)散模型通過采樣隨機(jī)高斯噪聲并將其通過學(xué)習(xí)到的去噪過程來生成新數(shù)據(jù)。

　　此外，Cosmos擴(kuò)散模型還有一些關(guān)鍵更新，專門針對物理AI開發(fā)。3D Patchification將視頻處理成較小的塊，簡化了時(shí)空序列表示�；旌衔恢们度胩幚砜臻g和時(shí)間維度，支持具有不同分辨率和幀率的視頻。交叉注意力層結(jié)合文本輸入，使視頻生成能夠根據(jù)描述更好地控制。LoRA的自適應(yīng)層歸一化將模型大小減少了36%，在更少的資源下保持了高性能。

　　訓(xùn)練數(shù)據(jù)方面，Cosmos使用了9000萬億token的數(shù)據(jù)，包括自動(dòng)駕駛、機(jī)器人、合成環(huán)境和其他相關(guān)領(lǐng)域的2000萬小時(shí)數(shù)據(jù)。能夠創(chuàng)建非常逼真的合成視頻環(huán)境和互動(dòng)，這為訓(xùn)練復(fù)雜機(jī)器人、自動(dòng)化駕駛提供重要基礎(chǔ)。

　　Cosmos共有Nano、Super和Ultra三種型號:Nano針對實(shí)時(shí)、低延遲推理和邊緣部署進(jìn)行了優(yōu)化;Super作為性能基線模型設(shè)計(jì);Ultra專注于最大質(zhì)量和保真度，是蒸餾定制模型的理想選擇。

　　為了提升Cosmos的安全性，提供了預(yù)防護(hù)和后防護(hù)兩種安全機(jī)制。預(yù)防護(hù)主要基于文本提示的安全措施，使用兩層:關(guān)鍵詞屏蔽，一個(gè)屏蔽列表檢查器掃描提示中的不安全關(guān)鍵詞，使用詞形還原來檢測變體，并屏蔽非英語術(shù)語或拼寫錯(cuò)誤。Aegis安全防護(hù)，NVIDIA微調(diào)的Aegis AI內(nèi)容安全模型檢測并屏蔽語義上不安全的提示，包括暴力、騷擾和粗俗等類別。

　　后防護(hù)階段通過以下方式確保生成視頻的安全性:視頻內(nèi)容安全分類器，一個(gè)多類分類器評估每個(gè)視頻幀的安全性。如果任何幀被標(biāo)記為不安全，則整個(gè)視頻將被拒絕。面部模糊過濾器，使用RetinaFace模型模糊生成視頻中的所有人臉，以保護(hù)隱私并減少基于年齡、性別或種族的偏見。

　　Cosmos實(shí)際應(yīng)用案例

　　根據(jù)NVIDIA在官網(wǎng)的展示，目前很多世界知名的實(shí)體機(jī)器人、智能汽車開發(fā)商已經(jīng)在使用Cosmos加速物理開發(fā)效率。

　　著名人形機(jī)器人開發(fā)公司1X使用 Cosmos，推出了1X世界模型挑戰(zhàn)數(shù)據(jù)集。國內(nèi)的小鵬汽車將使用Cosmos 加速其人形機(jī)器人的開發(fā)。Hillbot 和 Skild AI 正在使用 Cosmos 快速推進(jìn)其通用機(jī)器人的開發(fā)流程。

　　Waabi，一家從自動(dòng)駕駛汽車開始開創(chuàng)物理世界生成式AI的公司，正在評估 Cosmos 在自動(dòng)駕駛汽車軟件開發(fā)和模擬的數(shù)據(jù)整理方面的應(yīng)用。

　　Wayve在開發(fā)自動(dòng)駕駛的AI基礎(chǔ)模型，正在評估Cosmos作為搜索用于安全和驗(yàn)證的邊緣和角落駕駛場景的工具。自動(dòng)駕駛工具鏈提供商Foretellix將使用Cosmos，結(jié)合NVIDIA Omniverse Sensor RTX API，以規(guī)模評估和生成高保真測試場景和訓(xùn)練數(shù)據(jù)。

　　全球網(wǎng)約車巨頭Uber正在與NVIDIA合作加速自動(dòng)駕駛移動(dòng)性。Uber的豐富駕駛數(shù)據(jù)集，結(jié)合Cosmos平臺(tái)和NVIDIA DGX Cloud™的功能，可以幫助自動(dòng)駕駛合作伙伴更高效地構(gòu)建更強(qiáng)大的AI模型。

　　Uber首席執(zhí)行官Dara Khosrowshahi表示，“生成式AI將推動(dòng)移動(dòng)性的未來，這需要豐富的數(shù)據(jù)和非常強(qiáng)大的計(jì)算能力。通過與NVIDIA合作，我們有信心可以幫助加速安全和可擴(kuò)展的自動(dòng)駕駛解決方案。