阿里可控視頻生成框架DreaMoving開源

　　今天，阿里可控視頻生成框架DreaMoving正式開源，從網(wǎng)友測試的效果來看，其對人物運動的控制還是比較理想的。

　　據(jù)介紹，DreaMoving是基于擴散模型的可控視頻生成框架，用于產(chǎn)生高質(zhì)量定制的人類視頻。DreaMoving允許用戶生成具有高度自定義特征的人類視頻，如在沙灘上微笑的女孩，中央公園跳舞的亞洲女孩等。

　　DreaMoving是一種可以生成高質(zhì)量和高保真度視頻的技術，它能夠根據(jù)給定的指導序列和簡單的內(nèi)容描述，例如文本和參考圖像作為輸入，生成視頻。具體來說，DreaMoving通過人臉參考圖像、通過姿勢序列進行精確運動操作以及由指定文本提示提示的綜合視頻外觀控制來展示身份控制的熟練程度。這意味著，只需要“投喂”一張人像和一段提示，就能夠生成對應的視頻，而且改變提示，人物背景和身上的衣服也會跟著變化。

　　為了實現(xiàn)這一目標，DreaMoving技術引入了兩個關鍵組件:Video ControlNet和Content Guider。其中，Video ControlNet是一個圖像ControlNet，通過在每個U-Net塊后注入運動塊，處理控制序列(姿勢或深度)以產(chǎn)生額外的時間殘差，從而有效實現(xiàn)了對運動的控制。而Content Guider組件則負責將輸入文本提示和外觀表達(如人臉，衣物是可選的)轉換為內(nèi)容嵌入，實現(xiàn)跨注意力的傳遞。