斯坦福大學(xué)與FAIR Meta的研究人員合作開(kāi)發(fā)的CHOIS系統(tǒng),通過(guò)引入基于語(yǔ)言描述、初始狀態(tài)和稀疏對(duì)象航點(diǎn)的方法,成功解決了在3D場(chǎng)景中生成對(duì)象和人物同步運(yùn)動(dòng)的難題。該系統(tǒng)通過(guò)在指定的3D環(huán)境中產(chǎn)生逼真且可控的運(yùn)動(dòng),控制了人物與對(duì)象之間的交互。
CHOIS利用大規(guī)模高質(zhì)量的運(yùn)動(dòng)捕捉數(shù)據(jù)集(如AMASS),推動(dòng)了生成式人體運(yùn)動(dòng)建模的興趣,包括動(dòng)作條件和文本條件的合成。與以往使用VAE公式從文本生成多樣人體運(yùn)動(dòng)的方法不同,CHOIS專注于人物與對(duì)象的交互。與側(cè)重于手部運(yùn)動(dòng)合成的現(xiàn)有方法不同,CHOIS考慮了在對(duì)象抓取之前的全身運(yùn)動(dòng),并根據(jù)人體運(yùn)動(dòng)預(yù)測(cè)對(duì)象運(yùn)動(dòng),為交互式3D場(chǎng)景模擬提供了全面的解決方案。
CHOIS解決了在3D環(huán)境中合成逼真人物行為的重要需求,對(duì)計(jì)算機(jī)圖形學(xué)、具身人工智能和機(jī)器人技術(shù)至關(guān)重要。該系統(tǒng)通過(guò)基于語(yǔ)言描述、初始狀態(tài)和稀疏對(duì)象航點(diǎn)生成同步的人體和對(duì)象運(yùn)動(dòng),應(yīng)對(duì)了逼真運(yùn)動(dòng)生成、適應(yīng)環(huán)境雜亂、以及從語(yǔ)言描述中合成交互的挑戰(zhàn),為在不同3D場(chǎng)景中可控的人物-物體交互提供了全面的系統(tǒng)。
在評(píng)估階段,CHOIS系統(tǒng)與基線和消融模型進(jìn)行了嚴(yán)格對(duì)比,展示了在條件匹配、接觸準(zhǔn)確性、減少手-物體穿透和腳浮動(dòng)等指標(biāo)上的卓越性能。在FullBodyManipulation數(shù)據(jù)集上,對(duì)象幾何損失提升了模型的性能。在3D-FUTURE數(shù)據(jù)集上,CHOIS在新對(duì)象上的泛化表現(xiàn)優(yōu)于基線和消融模型。人類感知研究突顯了CHOIS在與文本輸入對(duì)齊以及相比基線更優(yōu)越的交互質(zhì)量方面的優(yōu)勢(shì)。定量指標(biāo)包括位置和方向誤差,用于衡量生成結(jié)果與地面真實(shí)運(yùn)動(dòng)之間的偏差。
總體而言,CHOIS是一個(gè)基于語(yǔ)言描述和稀疏對(duì)象航點(diǎn)生成逼真人物-物體交互的系統(tǒng)。在培訓(xùn)過(guò)程中,該程序考慮了對(duì)象幾何損失,并在采樣過(guò)程中采用了有效的引導(dǎo)術(shù)語(yǔ),以增強(qiáng)結(jié)果的逼真性。CHOIS學(xué)到的交互模塊可以集成到一個(gè)管道中,用于基于語(yǔ)言和3D場(chǎng)景合成長(zhǎng)期交互。CHOIS在生成與提供的語(yǔ)言描述一致的逼真人物-物體交互方面有了顯著改進(jìn)。
未來(lái)的研究可以探索通過(guò)整合額外的監(jiān)督,如對(duì)象幾何損失,以提高生成的對(duì)象運(yùn)動(dòng)與輸入航點(diǎn)的匹配性。研究更先進(jìn)的引導(dǎo)術(shù)語(yǔ)以強(qiáng)制執(zhí)行接觸約束可能會(huì)產(chǎn)生更逼真的結(jié)果。將評(píng)估擴(kuò)展到多樣的數(shù)據(jù)集和場(chǎng)景將測(cè)試CHOIS的泛化能力。進(jìn)一步的人類感知研究可以提供有關(guān)生成交互的更深層次的洞察。將學(xué)到的交互模塊應(yīng)用于基于3D場(chǎng)景對(duì)象航點(diǎn)生成長(zhǎng)期交互也將拓展CHOIS的適用性。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請(qǐng)謹(jǐn)慎對(duì)待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。
近日,德國(guó)柏林國(guó)際電子消費(fèi)品展覽會(huì)(IFA2024)隆重舉辦。憑借在核心技術(shù)、產(chǎn)品設(shè)計(jì)及應(yīng)用方面的創(chuàng)新變革,全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)成功斬獲兩項(xiàng)“IFA全球產(chǎn)品設(shè)計(jì)創(chuàng)新大獎(jiǎng)”金獎(jiǎng),有力證明了其在全球市場(chǎng)的強(qiáng)大影響力。
近日,中國(guó)家電及消費(fèi)電子博覽會(huì)(AWE 2024)隆重開(kāi)幕。全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)攜多款創(chuàng)新技術(shù)和新品亮相,以敢為精神勇闖技術(shù)無(wú)人區(qū),斬獲四項(xiàng)AWE 2024艾普蘭大獎(jiǎng)。
“以前都要去窗口辦,一套流程下來(lái)都要半個(gè)月了,現(xiàn)在方便多了!”打開(kāi)“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
由世界人工智能大會(huì)組委會(huì)、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會(huì)共同指導(dǎo),由上海市人工智能行業(yè)協(xié)會(huì)聯(lián)合上海人工智能實(shí)驗(yàn)室、上海臨港經(jīng)濟(jì)發(fā)展(集團(tuán))有限公司、開(kāi)放原子開(kāi)源基金會(huì)主辦的“2024全球開(kāi)發(fā)者先鋒大會(huì)”,將于2024年3月23日至24日舉辦。