阿里可控視頻生成框架DreaMoving開(kāi)源

　　今天，阿里可控視頻生成框架DreaMoving正式開(kāi)源，從網(wǎng)友測(cè)試的效果來(lái)看，其對(duì)人物運(yùn)動(dòng)的控制還是比較理想的。

　　據(jù)介紹，DreaMoving是基于擴(kuò)散模型的可控視頻生成框架，用于產(chǎn)生高質(zhì)量定制的人類視頻。DreaMoving允許用戶生成具有高度自定義特征的人類視頻，如在沙灘上微笑的女孩，中央公園跳舞的亞洲女孩等。

　　DreaMoving是一種可以生成高質(zhì)量和高保真度視頻的技術(shù)，它能夠根據(jù)給定的指導(dǎo)序列和簡(jiǎn)單的內(nèi)容描述，例如文本和參考圖像作為輸入，生成視頻。具體來(lái)說(shuō)，DreaMoving通過(guò)人臉參考圖像、通過(guò)姿勢(shì)序列進(jìn)行精確運(yùn)動(dòng)操作以及由指定文本提示提示的綜合視頻外觀控制來(lái)展示身份控制的熟練程度。這意味著，只需要“投喂”一張人像和一段提示，就能夠生成對(duì)應(yīng)的視頻，而且改變提示，人物背景和身上的衣服也會(huì)跟著變化。

　　為了實(shí)現(xiàn)這一目標(biāo)，DreaMoving技術(shù)引入了兩個(gè)關(guān)鍵組件:Video ControlNet和Content Guider。其中，Video ControlNet是一個(gè)圖像ControlNet，通過(guò)在每個(gè)U-Net塊后注入運(yùn)動(dòng)塊，處理控制序列(姿勢(shì)或深度)以產(chǎn)生額外的時(shí)間殘差，從而有效實(shí)現(xiàn)了對(duì)運(yùn)動(dòng)的控制。而Content Guider組件則負(fù)責(zé)將輸入文本提示和外觀表達(dá)(如人臉，衣物是可選的)轉(zhuǎn)換為內(nèi)容嵌入，實(shí)現(xiàn)跨注意力的傳遞。