CHOIS:基于語言引導(dǎo)的合成逼真3D人機(jī)交互的AI方法

　　斯坦福大學(xué)與FAIR Meta的研究人員合作開發(fā)的CHOIS系統(tǒng)，通過引入基于語言描述、初始狀態(tài)和稀疏對象航點(diǎn)的方法，成功解決了在3D場景中生成對象和人物同步運(yùn)動(dòng)的難題。該系統(tǒng)通過在指定的3D環(huán)境中產(chǎn)生逼真且可控的運(yùn)動(dòng)，控制了人物與對象之間的交互。

　　CHOIS利用大規(guī)模高質(zhì)量的運(yùn)動(dòng)捕捉數(shù)據(jù)集(如AMASS)，推動(dòng)了生成式人體運(yùn)動(dòng)建模的興趣，包括動(dòng)作條件和文本條件的合成。與以往使用VAE公式從文本生成多樣人體運(yùn)動(dòng)的方法不同，CHOIS專注于人物與對象的交互。與側(cè)重于手部運(yùn)動(dòng)合成的現(xiàn)有方法不同，CHOIS考慮了在對象抓取之前的全身運(yùn)動(dòng)，并根據(jù)人體運(yùn)動(dòng)預(yù)測對象運(yùn)動(dòng)，為交互式3D場景模擬提供了全面的解決方案。

　　CHOIS解決了在3D環(huán)境中合成逼真人物行為的重要需求，對計(jì)算機(jī)圖形學(xué)、具身人工智能和機(jī)器人技術(shù)至關(guān)重要。該系統(tǒng)通過基于語言描述、初始狀態(tài)和稀疏對象航點(diǎn)生成同步的人體和對象運(yùn)動(dòng)，應(yīng)對了逼真運(yùn)動(dòng)生成、適應(yīng)環(huán)境雜亂、以及從語言描述中合成交互的挑戰(zhàn)，為在不同3D場景中可控的人物-物體交互提供了全面的系統(tǒng)。

　　在評估階段，CHOIS系統(tǒng)與基線和消融模型進(jìn)行了嚴(yán)格對比，展示了在條件匹配、接觸準(zhǔn)確性、減少手-物體穿透和腳浮動(dòng)等指標(biāo)上的卓越性能。在FullBodyManipulation數(shù)據(jù)集上，對象幾何損失提升了模型的性能。在3D-FUTURE數(shù)據(jù)集上，CHOIS在新對象上的泛化表現(xiàn)優(yōu)于基線和消融模型。人類感知研究突顯了CHOIS在與文本輸入對齊以及相比基線更優(yōu)越的交互質(zhì)量方面的優(yōu)勢。定量指標(biāo)包括位置和方向誤差，用于衡量生成結(jié)果與地面真實(shí)運(yùn)動(dòng)之間的偏差。

　　總體而言，CHOIS是一個(gè)基于語言描述和稀疏對象航點(diǎn)生成逼真人物-物體交互的系統(tǒng)。在培訓(xùn)過程中，該程序考慮了對象幾何損失，并在采樣過程中采用了有效的引導(dǎo)術(shù)語，以增強(qiáng)結(jié)果的逼真性。CHOIS學(xué)到的交互模塊可以集成到一個(gè)管道中，用于基于語言和3D場景合成長期交互。CHOIS在生成與提供的語言描述一致的逼真人物-物體交互方面有了顯著改進(jìn)。

　　未來的研究可以探索通過整合額外的監(jiān)督，如對象幾何損失，以提高生成的對象運(yùn)動(dòng)與輸入航點(diǎn)的匹配性。研究更先進(jìn)的引導(dǎo)術(shù)語以強(qiáng)制執(zhí)行接觸約束可能會(huì)產(chǎn)生更逼真的結(jié)果。將評估擴(kuò)展到多樣的數(shù)據(jù)集和場景將測試CHOIS的泛化能力。進(jìn)一步的人類感知研究可以提供有關(guān)生成交互的更深層次的洞察。將學(xué)到的交互模塊應(yīng)用于基于3D場景對象航點(diǎn)生成長期交互也將拓展CHOIS的適用性。