AI視頻編輯方法ReVideo:可局部修改視頻內(nèi)容和運(yùn)動(dòng)軌跡

　　研究人員提出了一種名為 ReVideo 的視頻編輯方法，該方法通過指定內(nèi)容和運(yùn)動(dòng)來實(shí)現(xiàn)精確的視頻編輯。與現(xiàn)有方法不同的是，ReVideo 可以在特定區(qū)域進(jìn)行精確的視頻編輯，既可以修改視頻內(nèi)容，也可以修改運(yùn)動(dòng)軌跡。

　　為了實(shí)現(xiàn)這種精確的視頻編輯，研究人員提出了一個(gè)三階段的訓(xùn)練策略。首先，他們通過修改第一幀來實(shí)現(xiàn)內(nèi)容編輯。然后，他們通過基于軌跡的運(yùn)動(dòng)控制來實(shí)現(xiàn)運(yùn)動(dòng)編輯，這為用戶提供了直觀的交互體驗(yàn)。最后，他們提出了一個(gè)時(shí)空自適應(yīng)融合模塊，用于將內(nèi)容和運(yùn)動(dòng)控制集成在各種采樣步驟和空間位置上。

　　為了解決內(nèi)容和運(yùn)動(dòng)控制之間的耦合和訓(xùn)練不平衡的問題，研究人員采用了逐步解耦的訓(xùn)練策略。他們先從粗到細(xì)逐步解耦內(nèi)容和運(yùn)動(dòng)控制。然后，他們通過時(shí)空自適應(yīng)融合模塊將內(nèi)容和運(yùn)動(dòng)控制進(jìn)行集成。實(shí)驗(yàn)證明，ReVideo 在準(zhǔn)確的視頻編輯應(yīng)用方面具有很好的性能，包括局部改變視頻內(nèi)容、保持內(nèi)容不變并定制新的運(yùn)動(dòng)軌跡、修改內(nèi)容和運(yùn)動(dòng)軌跡等。

　　ReVideo 是一種具有出色編輯效果的視頻編輯方法，它通過指定內(nèi)容和運(yùn)動(dòng)來實(shí)現(xiàn)精確的視頻編輯。通過三階段的訓(xùn)練策略和時(shí)空自適應(yīng)融合模塊，ReVideo 能夠靈活地應(yīng)用于各種視頻編輯應(yīng)用，并具有良好的性能。這一方法的提出將進(jìn)一步推動(dòng)視頻編輯領(lǐng)域的發(fā)展。