DragNUWA :一個(gè)可以實(shí)現(xiàn)精細(xì)控制的視頻生成模型

 　　DragNUWA 是一種基于擴(kuò)散算法的視頻生成模型，DragNUWA 模型旨在解決視頻生成中的精細(xì)控制問題。該模型通過引入文本、圖像和軌跡信息，并從語義、空間和時(shí)間角度提供精細(xì)控制。

　　模型中的軌跡建模包括軌跡采樣器(TS)、多尺度融合(MF)和自適應(yīng)訓(xùn)練(AT)策略。實(shí)驗(yàn)證明 DragNUWA 模型在視頻生成的精細(xì)控制方面表現(xiàn)出色。

　　核心功能:

　　DragNUWA 在語義、空間和時(shí)間維度上同時(shí)引入文本、圖像和軌跡信息，提供了精細(xì)控制視頻生成的能力。

　　它采用軌跡采樣器、多尺度融合和自適應(yīng)訓(xùn)練策略，實(shí)現(xiàn)了開放域軌跡控制和生成連貫的視頻。該模型在實(shí)驗(yàn)中展現(xiàn)出優(yōu)越的細(xì)粒度控制性能。