麻省理工、哈佛、斯坦福等研究員聯(lián)合開發(fā)3D世界場景生成AI平臺TDW

　　在廚房里，你將金屬碗從柜面大力推向水槽，并因而發(fā)出砰的一聲。在另一個房間里，聽起來像是搖搖欲墜的木塊終于倒塌，另外還出現(xiàn)了玩具汽車的巨大相撞聲。盡管這個世界看似真實，但事實卻并非如此。

　　在一項研究中，麻省理工學院(MIT)、MIT-IBM沃森人工智能實驗室、哈佛大學和斯坦福大學的研究人員開發(fā)了一個名為ThreeDWorld(TDW)的平臺，并希望創(chuàng)造一個類似于《黑客帝國》的豐富虛擬世界。TDW能夠模擬室內(nèi)和室外的高保真音頻和視頻環(huán)境，并允許用戶像在現(xiàn)實生活中一樣根據(jù)物理定律與對象進行交互。當發(fā)生相互作用時，系統(tǒng)能夠計算并執(zhí)行流體、柔體和剛體的對象方向、物理特征和速度，從而產(chǎn)生精確的碰撞和撞擊聲音。

　　值得一提的是，這種逼真3D世界可以結(jié)合虛擬現(xiàn)實，通過將人類被試放到由TDW生成的逼真場景中來進行各種社會行為學研究。

　　據(jù)介紹，TDW的獨特之處在于其設(shè)計靈活且可泛化，可實時生成合成照片真實場景和音頻渲染，可編譯成視聽數(shù)據(jù)集，通過場景內(nèi)的交互進行修改，并適用于人類和神經(jīng)網(wǎng)絡(luò)學習和預測測試。另外，不同類型的機器人代理和虛擬化身可以在受控模擬中生成，從而執(zhí)行任務(wù)規(guī)劃和執(zhí)行。例如，利用虛擬現(xiàn)實，人類注意力和游戲行為可以提供真實世界的數(shù)據(jù)。

　　研究人員指出：“我們正嘗試構(gòu)建一個通用模擬平臺，為各種AI應(yīng)用模擬現(xiàn)實世界中的豐富交互。”

　　1. 機遇

　　創(chuàng)造逼真虛擬世界來研究人類行為和訓練機器人一直是人工智能和認知科學研究人員的夢想。盡管業(yè)界已經(jīng)出現(xiàn)了類似的方案，但都是為特定應(yīng)用而設(shè)計，缺乏泛化能力。

　　MIT-IBM沃森人工智能實驗室項目負責人、腦與認知科學系副教授喬什·麥克德莫特(Josh McDermott)解釋道：“目前大多數(shù)人工智能都是基于監(jiān)督學習，而監(jiān)督學習依賴于人類注釋圖像或聲音的巨大數(shù)據(jù)集。相關(guān)的成本非常高，為研究造成了瓶頸。另外，對于物體的物理性質(zhì)，比如說質(zhì)量，人類觀察者并不總是能夠輕松發(fā)現(xiàn)。諸如TDW這樣的模擬器能夠生成所有參數(shù)和注釋都為已知的場景，從而避免這個問題。實際上，業(yè)界大多數(shù)模擬都是出于這種考慮，但都是為特定的應(yīng)用而設(shè)計，而具備靈活性的TDW則旨在支持大量的用例。”

　　麥克德莫特指出，TDW的另一個優(yōu)點是，它為理解學習過程和促進人工智能機器人的改進提供了受控設(shè)置。依靠反復試驗的機器人系統(tǒng)可以在不會造成損害的環(huán)境中進行學習。

　　另外，研究人員可以結(jié)合虛擬現(xiàn)實，將人類被試放到由TDW生成的逼真場景中，從而進行各種研究。麥克德莫特補充道：“我們中的許多人對這種虛擬世界為人類實驗帶來的可能性感到興奮，它可以幫助我們了解人類的感知和認知。你可以創(chuàng)造非常豐富的感官場景，并依然能夠完全控制和完全理解環(huán)境中發(fā)生的事情。”

　　2. 框架

　　這項研究始于麻省理工學院、斯坦福大學和IBM研究人員在聽覺、視覺、認知和感知智能等方面的合作。TDW能夠在一個平臺上將所述一切結(jié)合在一起。

　　專注于研究人類和機器聽覺的麥克德莫特指出：“我們都對構(gòu)建一個虛擬世界的想法感興趣。這個虛擬世界的目的是訓練我們可以實際用作大腦模型的人工智能系統(tǒng)。在這種環(huán)境中，你可以讓物體相互作用，然后從中呈現(xiàn)真實的感官數(shù)據(jù)。這將是一種有價值的研究方法。”

　　為了實現(xiàn)這一目標，研究人員在Unity3D引擎構(gòu)建了TDW，并致力于在不使用任何動畫的情況下結(jié)合視覺和聽覺數(shù)據(jù)渲染。

　　模擬由兩部分組成：the build和the controller。前者渲染圖像、合成音頻和運行物理模擬;后者是一個基于Python的界面，并允許用戶向the build發(fā)送命令。

　　研究人員從廣泛的三維模型庫中提取對象(如家具、動物和車輛)，從而構(gòu)建和填充場景。模型能夠準確地響應(yīng)照明變化，而材質(zhì)組成和方向決定了它們在空間中的物理行為。動態(tài)照明模型精確模擬場景照明，與一天中的適當時間和太陽角度相對應(yīng)。

　　團隊同時創(chuàng)建了虛擬平面布置圖，從而允許使用代理和化身填充。

　　為了合成逼真的音頻，TDW利用由碰撞或模擬中的其他對象交互觸發(fā)的碰撞聲音的生成模型。TDW同時根據(jù)空間的幾何結(jié)構(gòu)和其中的對象模擬噪聲衰減和混響。

　　TDW中的兩個物理引擎為交互對象之間的變形和反應(yīng)提供動力：一個用于剛體，另一個用于柔體和流體。TDW執(zhí)行有關(guān)質(zhì)量、體積和密度、以及任何摩擦力或其他力的瞬時計算。這使得機器學習模型能夠了解具有不同物理特性的對象的行為。

　　在實現(xiàn)中，研究人員可以通過the controller命令直接對物體施加力，這可以讓虛擬球運動起來;虛擬化身可以在空間內(nèi)以某種方式行動或行為;VR設(shè)備則允許用戶與虛擬環(huán)境交互，并生成機器學習模型可以學習的人類行為數(shù)據(jù)。

　　3. 推進人工智能技術(shù)

　　為了試驗和演示TDW的獨特特性、功能和應(yīng)用，團隊運行了一系列測試來比較TDW和其他虛擬仿真生成的數(shù)據(jù)集。團隊發(fā)現(xiàn)，在圖像分類測試中，使用隨機放置的TDW攝像機角度對場景圖像快照進行訓練的神經(jīng)網(wǎng)絡(luò)優(yōu)于其他模擬，接近于在真實圖像訓練的系統(tǒng)。

　　研究人員同時根據(jù)TDW中掉落場景的音頻片段生成并訓練了一個材料分類模型，然后要求它識別相互作用的材料類型。實驗結(jié)果表明，與競爭對手相比，TDW產(chǎn)生了顯著的收益。物體跌落測試表明，將聽覺和視覺結(jié)合起來是識別物體物理特性的最佳方法。

　　TDW對于設(shè)計和測試理解場景中的物理事件如何隨時間演變的系統(tǒng)特別有用。這包括促進模型或算法在物理預測方面的基準測試，例如，物體堆疊的穩(wěn)定性，或碰撞后物體的運動。

　　研究人員指出，所述應(yīng)用只是冰山一角。通過擴展TDW的物理模擬能力，團隊希望能夠更準確地描述真實世界：“我們正嘗試創(chuàng)建新的基準來推進AI技術(shù)，并利用基準來揭示許多迄今為止難以研究的新課題。”