CameraCtrl：讓文本生成視頻實現(xiàn)鏡頭控制 支持AnimateDiff控制鏡頭

　　近年來，隨著人工智能技術(shù)的發(fā)展，視頻生成領(lǐng)域取得了長足的進步。然而，在現(xiàn)有的文本到視頻生成模型中，對鏡頭姿勢的精確控制往往被忽視，而鏡頭姿勢在視頻生成中扮演著表達更深層敘事細微差別的影視語言角色。

　　為了解決這一問題，研究人員提出了 CameraCtrl，實現(xiàn)了對文本到視頻模型的鏡頭姿勢進行精確控制。使用AnimateDiff生成視頻時，結(jié)合CameraCtrl可以控制鏡頭的運動軌跡。

　　在 CameraCtrl 的框架中，他們首先通過準(zhǔn)確參數(shù)化鏡頭軌跡，然后在文本到視頻模型上訓(xùn)練鏡頭編碼器，實現(xiàn)了插拔式的鏡頭模塊。這個模塊能夠?qū)㈢R頭表示集成到 U-Net 的時間注意力層中，從而控制視頻生成的過程。實驗結(jié)果表明，CameraCtrl 在實現(xiàn)精確的鏡頭控制和領(lǐng)域自適應(yīng)方面取得了顯著的效果。

　　研究人員還進行了對各種數(shù)據(jù)集的影響的綜合研究，結(jié)果表明，具有不同鏡頭分布和類似外觀的視頻確實增強了鏡頭控制的可控性和泛化性。通過將不同領(lǐng)域視頻進行鏡頭控制的實驗，進一步證明了 CameraCtrl 的有效性。

　　CameraCtrl 為實現(xiàn)從文本和鏡頭姿勢輸入生成動態(tài)、定制化視頻敘事邁出了重要一步。這一技術(shù)的應(yīng)用前景廣闊，有望在視頻生成領(lǐng)域發(fā)揮重要作用。