阿里團隊推新AI模型I2VGen-XL：單張靜止圖像就能生成高質(zhì)量視頻

　　視頻合成最近取得了顯著的進步，這得益于擴散模型的快速發(fā)展。然而，它在語義準確性、清晰度和時空連續(xù)性方面仍然存在挑戰(zhàn)。它們主要源于文本-視頻數(shù)據(jù)的稀缺性和視頻的復(fù)雜固有結(jié)構(gòu)，使得模型難以同時確保語義和定性的卓越性。

　　阿里巴巴、浙江大學(xué)和華中科技大學(xué)的研究人員提出了一種級聯(lián)的 I2VGen-XL 方法，該方法通過解耦這兩個因素來增強模型性能，并通過利用靜態(tài)圖像作為關(guān)鍵指導(dǎo)形式來確保輸入數(shù)據(jù)的對齊。

　　I2VGen-XL 由兩個階段組成:

　　i) 基礎(chǔ)階段通過使用兩個分層編碼器來保證連貫的語義并保留輸入圖像中的內(nèi)容。

　　ii) 細化階段通過合并額外的簡短文本來增強視頻的細節(jié)，并將分辨率提高到1280x720。

　　目前文本到視頻合成的主要挑戰(zhàn)之一是高質(zhì)量視頻文本對的收集。為了豐富 I2VGen-XL 的多樣性和魯棒性，研究人員收集了一個龐大的數(shù)據(jù)集，其中收集了大約3500萬個單鏡頭文本-視頻對和60億個文本-圖像對來優(yōu)化模型。通過這種方式，I2VGen-XL可以同時提高語義的準確性、細節(jié)的連續(xù)性和生成視頻的清晰度。

　　所提出的模型利用潛在擴散模型(LDM)，這是一種生成模型類，可以學(xué)習(xí)擴散過程來生成目標(biāo)概率分布。在視頻合成的情況下，LDM逐漸從高斯噪聲中恢復(fù)潛在目標(biāo)，保留視覺流形并重建高保真視頻。I2VGen-XL采用LDM(簡稱VLDM)的3D UNet架構(gòu)，以實現(xiàn)有效且高效的視頻合成。

　　細化階段對于增強空間細節(jié)、細化面部和身體特征以及減少局部細節(jié)中的噪聲至關(guān)重要。研究人員分析了頻域細化模型的工作機制，強調(diào)了其在保留低頻數(shù)據(jù)和提高高清視頻連續(xù)性方面的有效性。

　　在與 Gen-2和 Pika 等頂級方法的實驗比較中，I2VGen-XL 展示了更豐富、更多樣化的運動，強調(diào)了其在視頻生成方面的有效性。研究人員還對人臉、3D卡通、動漫、中國畫、小動物等多種圖像進行了定性分析，展示了該模型的泛化能力。