視頻生成模型Motion-I2V：支持控制視頻運(yùn)動(dòng)軌跡

　　2月4日 消息:Motion-I2V是一種新型的視頻生成模型，可以像Runway的運(yùn)動(dòng)筆刷一樣控制視頻生成。它能夠從一張靜態(tài)圖片生成連貫且可控制的視頻，效果驚人!這個(gè)技術(shù)還能對(duì)生成視頻進(jìn)行運(yùn)動(dòng)控制，例如可以生成一輛車在道路上行駛的視頻，而且還能控制車輛的行駛方向和速度等細(xì)節(jié)。

　　Motion-I2V的主要功能特點(diǎn)包括:

　　1、圖像到視頻的自動(dòng)轉(zhuǎn)換，能夠?qū)㈧o態(tài)圖像自動(dòng)轉(zhuǎn)換成連貫的動(dòng)態(tài)視頻，通過(guò)模擬圖像中對(duì)象的自然運(yùn)動(dòng)，使靜態(tài)圖像“活”起來(lái)。

　　2、顯式運(yùn)動(dòng)建模，通過(guò)兩個(gè)階段的處理，首先預(yù)測(cè)圖像中物體的運(yùn)動(dòng)軌跡，然后根據(jù)這些軌跡生成動(dòng)態(tài)視頻，這種方法明確考慮物體的移動(dòng)方式，使生成的視頻更加自然和真實(shí)。

　　3、Motion-I2V還支持用戶精確控制視頻中的運(yùn)動(dòng)軌跡和運(yùn)動(dòng)區(qū)域，為用戶提供了比傳統(tǒng)方法更高的可控性。生成的視頻不僅在視覺(jué)上連貫，而且用戶可以通過(guò)簡(jiǎn)單的操作控制視頻內(nèi)容，使得生成的視頻既滿足特定的視覺(jué)要求，又能反映用戶的創(chuàng)意意圖。

　　4、Motion-I2V還支持將一個(gè)視頻轉(zhuǎn)換為另一個(gè)風(fēng)格的視頻，而無(wú)需額外的訓(xùn)練樣本，這一功能基于其先進(jìn)的運(yùn)動(dòng)增強(qiáng)和時(shí)間注意力技術(shù)。

　　工作原理是將整個(gè)圖像到視頻的轉(zhuǎn)換過(guò)程分為兩個(gè)步驟，并且在這兩個(gè)步驟中明確地考慮了物體的移動(dòng)情況。

　　第一步驟是預(yù)測(cè)圖片中物體的移動(dòng)軌跡，通過(guò)一個(gè)特別設(shè)計(jì)的預(yù)測(cè)器來(lái)實(shí)現(xiàn)，它能夠基于當(dāng)前的圖片和一些指令來(lái)預(yù)測(cè)出物體的移動(dòng)方式。

　　第二步驟是根據(jù)這些軌跡將圖片中的內(nèi)容“拖動(dòng)”到視頻的每一幀中去，從而創(chuàng)建出連貫的視頻。與其他類似技術(shù)相比，Motion-I2V的優(yōu)勢(shì)在于它生成的視頻不僅看起來(lái)更連貫，而且用戶還可以更精確地控制視頻中的運(yùn)動(dòng)情況。

　　此外，這個(gè)技術(shù)還能夠做到從一個(gè)視頻轉(zhuǎn)換到另一個(gè)視頻，而不需要額外的訓(xùn)練數(shù)據(jù)，這是通過(guò)在第二步驟中引入的一種新技術(shù)實(shí)現(xiàn)的。