Adobe發(fā)布視頻模型ActAnywhere 可根據(jù)主體運(yùn)動(dòng)生成背景

　　1月22日 消息:Adobe今日發(fā)布了全新的視頻模型ActAnywhere。這一模型可以根據(jù)前景主體的運(yùn)動(dòng)和外觀，為電影和視覺特效社區(qū)生成視頻背景。

　　ActAnywhere模型通過引入跨幀注意力進(jìn)行時(shí)間推理，將用戶的創(chuàng)意想法快速地融入到動(dòng)態(tài)的虛擬場(chǎng)景中。模型的訓(xùn)練數(shù)據(jù)集包含240萬個(gè)包含人類與場(chǎng)景交互的視頻，并通過自監(jiān)督的方式進(jìn)行訓(xùn)練。

　　ActAnywhere模型的關(guān)鍵之處在于其3D U-Net采用一系列前景主體分割以及蒙版作為輸入，并以描述背景的幀作為條件。在訓(xùn)練過程中，通過從訓(xùn)練視頻中隨機(jī)采樣的幀作為條件來進(jìn)行去噪過程。

　　在測(cè)試時(shí)，條件可以是主體與新背景的混合幀，也可以是僅背景的圖像。通過Adobe Firefly生成的組合幀展示了視頻背景生成的效果，這些組合幀是通過ChatGPT4生成的文本提示或手動(dòng)書寫的。

　　評(píng)估結(jié)果表明，ActAnywhere能夠生成具有高度真實(shí)感的前景與背景互動(dòng)、相機(jī)運(yùn)動(dòng)、光影效果的視頻，并能夠推廣到分布于訓(xùn)練數(shù)據(jù)之外的樣本，包括非人類主體。

　　這一新模型提供了一個(gè)簡(jiǎn)單且高效的方式，將任意主體放置于多樣的場(chǎng)景中，為電影制作和視覺特效等領(lǐng)域提供了有價(jià)值的工具。

　　Adobe的ActAnywhere模型為用戶創(chuàng)造出了無限的可能性，使得他們能夠輕松地將自己的創(chuàng)意想法轉(zhuǎn)化為具有高度真實(shí)感的視頻作品。這將對(duì)電影和視覺特效領(lǐng)域產(chǎn)生深遠(yuǎn)的影響，為行業(yè)帶來全新的發(fā)展機(jī)遇。