Adobe發(fā)布視頻模型ActAnywhere 可根據(jù)主體運動生成背景

　　1月22日 消息:Adobe今日發(fā)布了全新的視頻模型ActAnywhere。這一模型可以根據(jù)前景主體的運動和外觀，為電影和視覺特效社區(qū)生成視頻背景。

　　ActAnywhere模型通過引入跨幀注意力進(jìn)行時間推理，將用戶的創(chuàng)意想法快速地融入到動態(tài)的虛擬場景中。模型的訓(xùn)練數(shù)據(jù)集包含240萬個包含人類與場景交互的視頻，并通過自監(jiān)督的方式進(jìn)行訓(xùn)練。

　　ActAnywhere模型的關(guān)鍵之處在于其3D U-Net采用一系列前景主體分割以及蒙版作為輸入，并以描述背景的幀作為條件。在訓(xùn)練過程中，通過從訓(xùn)練視頻中隨機采樣的幀作為條件來進(jìn)行去噪過程。

　　在測試時，條件可以是主體與新背景的混合幀，也可以是僅背景的圖像。通過Adobe Firefly生成的組合幀展示了視頻背景生成的效果，這些組合幀是通過ChatGPT4生成的文本提示或手動書寫的。

　　評估結(jié)果表明，ActAnywhere能夠生成具有高度真實感的前景與背景互動、相機運動、光影效果的視頻，并能夠推廣到分布于訓(xùn)練數(shù)據(jù)之外的樣本，包括非人類主體。

　　這一新模型提供了一個簡單且高效的方式，將任意主體放置于多樣的場景中，為電影制作和視覺特效等領(lǐng)域提供了有價值的工具。

　　Adobe的ActAnywhere模型為用戶創(chuàng)造出了無限的可能性，使得他們能夠輕松地將自己的創(chuàng)意想法轉(zhuǎn)化為具有高度真實感的視頻作品。這將對電影和視覺特效領(lǐng)域產(chǎn)生深遠(yuǎn)的影響，為行業(yè)帶來全新的發(fā)展機遇。