阿里團(tuán)隊(duì)推新AI模型I2VGen-XL：?jiǎn)螐堨o止圖像就能生成高質(zhì)量視頻

　　視頻合成最近取得了顯著的進(jìn)步，這得益于擴(kuò)散模型的快速發(fā)展。然而，它在語義準(zhǔn)確性、清晰度和時(shí)空連續(xù)性方面仍然存在挑戰(zhàn)。它們主要源于文本-視頻數(shù)據(jù)的稀缺性和視頻的復(fù)雜固有結(jié)構(gòu)，使得模型難以同時(shí)確保語義和定性的卓越性。

　　阿里巴巴、浙江大學(xué)和華中科技大學(xué)的研究人員提出了一種級(jí)聯(lián)的 I2VGen-XL 方法，該方法通過解耦這兩個(gè)因素來增強(qiáng)模型性能，并通過利用靜態(tài)圖像作為關(guān)鍵指導(dǎo)形式來確保輸入數(shù)據(jù)的對(duì)齊。

　　I2VGen-XL 由兩個(gè)階段組成:

　　i) 基礎(chǔ)階段通過使用兩個(gè)分層編碼器來保證連貫的語義并保留輸入圖像中的內(nèi)容。

　　ii) 細(xì)化階段通過合并額外的簡(jiǎn)短文本來增強(qiáng)視頻的細(xì)節(jié)，并將分辨率提高到1280x720。

　　目前文本到視頻合成的主要挑戰(zhàn)之一是高質(zhì)量視頻文本對(duì)的收集。為了豐富 I2VGen-XL 的多樣性和魯棒性，研究人員收集了一個(gè)龐大的數(shù)據(jù)集，其中收集了大約3500萬個(gè)單鏡頭文本-視頻對(duì)和60億個(gè)文本-圖像對(duì)來優(yōu)化模型。通過這種方式，I2VGen-XL可以同時(shí)提高語義的準(zhǔn)確性、細(xì)節(jié)的連續(xù)性和生成視頻的清晰度。

　　所提出的模型利用潛在擴(kuò)散模型(LDM)，這是一種生成模型類，可以學(xué)習(xí)擴(kuò)散過程來生成目標(biāo)概率分布。在視頻合成的情況下，LDM逐漸從高斯噪聲中恢復(fù)潛在目標(biāo)，保留視覺流形并重建高保真視頻。I2VGen-XL采用LDM(簡(jiǎn)稱VLDM)的3D UNet架構(gòu)，以實(shí)現(xiàn)有效且高效的視頻合成。

　　細(xì)化階段對(duì)于增強(qiáng)空間細(xì)節(jié)、細(xì)化面部和身體特征以及減少局部細(xì)節(jié)中的噪聲至關(guān)重要。研究人員分析了頻域細(xì)化模型的工作機(jī)制，強(qiáng)調(diào)了其在保留低頻數(shù)據(jù)和提高高清視頻連續(xù)性方面的有效性。

　　在與 Gen-2和 Pika 等頂級(jí)方法的實(shí)驗(yàn)比較中，I2VGen-XL 展示了更豐富、更多樣化的運(yùn)動(dòng)，強(qiáng)調(diào)了其在視頻生成方面的有效性。研究人員還對(duì)人臉、3D卡通、動(dòng)漫、中國畫、小動(dòng)物等多種圖像進(jìn)行了定性分析，展示了該模型的泛化能力。