谷歌發(fā)布視頻生成模型Lumiere 運動幅度和一致性表現(xiàn)良好

　　1月24日 消息:Lumiere 是谷歌發(fā)布的第三個視頻生成模型，這次的模型演示視頻質量非常高，運動幅度和一致性表現(xiàn)也很好。除了視頻生成，該模型還支持各種視頻編輯和生成控制能力。

　　Lumiere 是一款先進的模型，專門用于將文本轉換為視頻，這在視頻合成領域是一大挑戰(zhàn)。為了實現(xiàn)這一目標，谷歌采用了一種創(chuàng)新的空間-時間 U-Net 架構。

　　這種架構能夠一次性完成整個視頻時長的生成，與傳統(tǒng)視頻模型不同。傳統(tǒng)模型通常是先合成關鍵的遠程幀，然后通過時間上的超級分辨率技術來處理，這種方法難以保持視頻的全局時間連貫性。

　　Lumiere 通過在空間和關鍵的時間維度進行上下采樣，并利用預先訓練好的文本到圖像擴散模型，使得該模型能夠直接生成全幀率、低分辨率的視頻，并且在多個空間-時間尺度上進行處理。

　　該模型在將文本轉換成視頻方面取得了領先成果，并證明了該設計能夠輕松應用于各種內容創(chuàng)作和視頻編輯任務，包括將圖像轉換為視頻、視頻修補和風格化視頻創(chuàng)作。