視頻生成模型Motion-I2V：支持控制視頻運動軌跡

　　2月4日 消息:Motion-I2V是一種新型的視頻生成模型，可以像Runway的運動筆刷一樣控制視頻生成。它能夠從一張靜態(tài)圖片生成連貫且可控制的視頻，效果驚人!這個技術(shù)還能對生成視頻進行運動控制，例如可以生成一輛車在道路上行駛的視頻，而且還能控制車輛的行駛方向和速度等細(xì)節(jié)。

　　Motion-I2V的主要功能特點包括:

　　1、圖像到視頻的自動轉(zhuǎn)換，能夠?qū)㈧o態(tài)圖像自動轉(zhuǎn)換成連貫的動態(tài)視頻，通過模擬圖像中對象的自然運動，使靜態(tài)圖像“活”起來。

　　2、顯式運動建模，通過兩個階段的處理，首先預(yù)測圖像中物體的運動軌跡，然后根據(jù)這些軌跡生成動態(tài)視頻，這種方法明確考慮物體的移動方式，使生成的視頻更加自然和真實。

　　3、Motion-I2V還支持用戶精確控制視頻中的運動軌跡和運動區(qū)域，為用戶提供了比傳統(tǒng)方法更高的可控性。生成的視頻不僅在視覺上連貫，而且用戶可以通過簡單的操作控制視頻內(nèi)容，使得生成的視頻既滿足特定的視覺要求，又能反映用戶的創(chuàng)意意圖。

　　4、Motion-I2V還支持將一個視頻轉(zhuǎn)換為另一個風(fēng)格的視頻，而無需額外的訓(xùn)練樣本，這一功能基于其先進的運動增強和時間注意力技術(shù)。

　　工作原理是將整個圖像到視頻的轉(zhuǎn)換過程分為兩個步驟，并且在這兩個步驟中明確地考慮了物體的移動情況。

　　第一步驟是預(yù)測圖片中物體的移動軌跡，通過一個特別設(shè)計的預(yù)測器來實現(xiàn)，它能夠基于當(dāng)前的圖片和一些指令來預(yù)測出物體的移動方式。

　　第二步驟是根據(jù)這些軌跡將圖片中的內(nèi)容“拖動”到視頻的每一幀中去，從而創(chuàng)建出連貫的視頻。與其他類似技術(shù)相比，Motion-I2V的優(yōu)勢在于它生成的視頻不僅看起來更連貫，而且用戶還可以更精確地控制視頻中的運動情況。

　　此外，這個技術(shù)還能夠做到從一個視頻轉(zhuǎn)換到另一個視頻，而不需要額外的訓(xùn)練數(shù)據(jù)，這是通過在第二步驟中引入的一種新技術(shù)實現(xiàn)的。