CamCo：可控制相機(jī)的3D 一致圖像到視頻生成

　　研究提出了一種新穎的可控制相機(jī)姿態(tài)的圖像到視頻生成框架 ——CamCo，用于生成高質(zhì)量、三維一致的視頻。通過(guò)引入 Plücker 坐標(biāo)，為預(yù)訓(xùn)練的圖像到視頻生成器提供了精確參數(shù)化的相機(jī)姿態(tài)輸入。

　　為了增強(qiáng)生成的視頻的三維一致性，研究人員在每個(gè)注意力模塊中集成了極線約束注意力模塊，以對(duì)特征圖施加極線約束。此外，通過(guò)結(jié)構(gòu)光算法對(duì)真實(shí)世界視頻進(jìn)行微調(diào)，以改進(jìn)對(duì)象運(yùn)動(dòng)的合成效果。實(shí)驗(yàn)結(jié)果表明，與之前的模型相比，CamCo 在三維一致性和相機(jī)控制能力方面有顯著的改進(jìn)，同時(shí)能夠有效地生成合理的對(duì)象運(yùn)動(dòng)。

　　CamCo 是一個(gè)全新的可控制相機(jī)的圖像到視頻生成框架，可以生成高質(zhì)量、三維一致的視頻。CamCo 通過(guò)使用 Plücker 坐標(biāo)和極線約束注意力塊將相機(jī)參數(shù)注入模型中。研究人員還引入了一個(gè)數(shù)據(jù)篩選流程，用于處理帶有動(dòng)態(tài)主體的真實(shí)世界視頻，并通過(guò)這個(gè)篩選后的數(shù)據(jù)集對(duì) CamCo 進(jìn)行微調(diào)，以提高其生成具有相機(jī)自我運(yùn)動(dòng)和動(dòng)態(tài)主體的視頻的能力。

　　給定一張單獨(dú)的圖片和一個(gè)相機(jī)序列作為輸入，CamCo 模型可以合成符合相機(jī)條件并具有三維一致性的視頻。我們支持室內(nèi)、室外、以物體為中心的和文本到圖像生成的圖片。最后一行的提示為 "一個(gè)繁茂的花園，里面有各種顏色的盛開(kāi)的玫瑰，中間蜿蜒著一條石子路"，第一幀的相機(jī)姿態(tài)以紫色顯示。