新視頻編輯模型VideoSwap 可精細(xì)化替換視頻主體

　　最近，視頻編輯領(lǐng)域迎來了人工智能的顯著進展，其中以Diffusion-based技術(shù)為代表。該技術(shù)利用預(yù)訓(xùn)練的文本到圖像/視頻擴散模型進行樣式更改、背景交換等任務(wù)。然而，在視頻編輯中，將源視頻的運動轉(zhuǎn)移到編輯后的視頻，尤其是確保整個過程中的時間一致性是一個具有挑戰(zhàn)性的部分。

　　大多數(shù)視頻編輯工具側(cè)重于通過確保時間一致性和動作對齊來保持視頻的結(jié)構(gòu)。然而，在處理視頻中的形狀變化時，這一過程變得無效。為了解決這一問題，新加坡國立大學(xué)的Show Lab和Meta的GenAI研究人員引入了VideoSwap框架，該框架使用語義點對應(yīng)而非密集對應(yīng)，以對齊主體的運動軌跡并改變其形狀。

　　使用密集對應(yīng)可以實現(xiàn)更好的時間一致性，但限制了編輯視頻中主體形狀的變化。盡管使用語義點對應(yīng)是一種靈活的方法，但在不同的開放世界設(shè)置中變化較大，這使得難以訓(xùn)練一個通用的條件模型。

　　研究人員嘗試僅使用有限數(shù)量的源視頻幀來學(xué)習(xí)語義點控制，他們發(fā)現(xiàn)在源視頻幀上優(yōu)化的點可以對齊主體的運動軌跡并改變主體的形狀。

　　此外，優(yōu)化后的語義點還可以在語義和低級別變化之間進行轉(zhuǎn)移。這些觀察結(jié)果為在視頻編輯中使用語義點對應(yīng)提供了依據(jù)。

　　研究人員設(shè)計了該框架的方式如下:他們將運動層集成到圖像擴散模型中，以確保時間一致性。他們還在源視頻中識別了語義點，并利用這些點來傳遞運動軌跡。該方法僅關(guān)注高級語義對齊，從而防止過度學(xué)習(xí)低級別細(xì)節(jié)，從而增強語義點對齊。此外，VideoSwap還具有用戶點交互，例如刪除或拖動點以進行多個語義點對應(yīng)。

　　研究人員使用潛在擴散模型實施了該框架，并采用AnimateDiff中的運動層作為基礎(chǔ)模型。他們發(fā)現(xiàn)，與先前的視頻編輯方法相比，VideoSwap在同時對齊源運動軌跡、保留目標(biāo)概念身份的同時實現(xiàn)了顯著的形狀變化。研究人員還通過人工評估驗證了他們的結(jié)果，結(jié)果清楚地顯示，VideoSwap在主體身份、動作對齊和時間一致性等指標(biāo)上優(yōu)于其他比較方法。

　　VideoSwap是一個多才多藝的框架，即使涉及復(fù)雜形狀的視頻編輯也能游刃有余。它在過程中限制了人的干預(yù)，并使用語義點對應(yīng)實現(xiàn)更好的視頻主體交換。該方法不僅允許在同時改變形狀的同時將運動軌跡與源對象對齊，而且在多個指標(biāo)上優(yōu)于先前的方法，展示了在定制視頻主體交換方面的最新成果。