TF-T2V把AI量產(chǎn)視頻的成本打下來了！華科阿里等聯(lián)合打造

　　本文來自于微信公眾號(hào) 機(jī)器之心(ID:almosthuman2014)，作者:機(jī)器之心。

　　在過去短短兩年內(nèi)，隨著諸如LAION-5B 等大規(guī)模圖文數(shù)據(jù)集的開放，Stable Diffusion、DALL-E2、ControlNet、Composer ，效果驚人的圖片生成方法層出不窮。圖片生成領(lǐng)域可謂狂飆突進(jìn)。

　　然而，與圖片生成相比，視頻生成仍存在巨大挑戰(zhàn)。首先，視頻生成需要處理更高維度的數(shù)據(jù)，考慮額外時(shí)間維度帶來的時(shí)序建模問題，因此需要更多的視頻 - 文本對(duì)數(shù)據(jù)來驅(qū)動(dòng)時(shí)序動(dòng)態(tài)的學(xué)習(xí)。然而，對(duì)視頻進(jìn)行準(zhǔn)確的時(shí)序標(biāo)注非常昂貴。這限制了視頻 - 文本數(shù)據(jù)集的規(guī)模，如現(xiàn)有 WebVid10M 視頻數(shù)據(jù)集包含10.7M 視頻 - 文本對(duì)，與 LAION-5B 圖片數(shù)據(jù)集在數(shù)據(jù)規(guī)模上相差甚遠(yuǎn)，嚴(yán)重制約了視頻生成模型規(guī)�；�的擴(kuò)展。

　　為解決上述問題，華中科技大學(xué)、阿里巴巴集團(tuán)、浙江大學(xué)和螞蟻集團(tuán)聯(lián)合研究團(tuán)隊(duì)于近期發(fā)布了TF-T2V視頻方案:

　　該方案另辟蹊徑，提出了基于大規(guī)模無文本標(biāo)注視頻數(shù)據(jù)進(jìn)行視頻生成，能夠?qū)W習(xí)豐富的運(yùn)動(dòng)動(dòng)態(tài)。

　　先來看看 TF-T2V 的視頻生成效果:

　　文生視頻任務(wù)

　　提示詞:生成在冰雪覆蓋的土地上有一只冰霜般的大生物的視頻。

　　提示詞:生成一只卡通蜜蜂的動(dòng)畫視頻。

　　提示詞:生成包含一輛未來幻想摩托車的視頻。

　　提示詞:生成一個(gè)小男孩快樂微笑的視頻。

　　提示詞:生成一個(gè)老人感覺頭疼的視頻。

　　組合式視頻生成任務(wù)

　　給定文本與深度圖或者文本與素描草圖，TF-T2V 能夠進(jìn)行可控的視頻生成:

　　也可以進(jìn)行高分辨率視頻合成:

　　半監(jiān)督設(shè)定

　　在半監(jiān)督設(shè)定下的 TF-T2V 方法還可以生成符合運(yùn)動(dòng)文本描述的視頻，如 「人從右往左跑」。

　　方法簡(jiǎn)介

　　TF-T2V 的核心思想是將模型分為運(yùn)動(dòng)分支和表觀分支，運(yùn)動(dòng)分支用于建模運(yùn)動(dòng)動(dòng)態(tài)，表觀分支用于學(xué)習(xí)視覺表觀信息。這兩個(gè)分支進(jìn)行聯(lián)合訓(xùn)練，最終可以實(shí)現(xiàn)通過文本驅(qū)動(dòng)視頻生成。

　　為了提升生成視頻的時(shí)序一致性，作者團(tuán)隊(duì)還提出了一種時(shí)序一致性損失，顯式地學(xué)習(xí)視頻幀之間的連續(xù)性。

　　值得一提的是，TF-T2V 是一種通用的框架，不僅適用于文生視頻任務(wù)，還能應(yīng)用于組合式視頻生成任務(wù)，如 sketch-to-video、video inpainting、first frame-to-video 等。

　　具體細(xì)節(jié)和更多實(shí)驗(yàn)結(jié)果可以參考原論文或者項(xiàng)目主頁(yè)。

　　此外，作者團(tuán)隊(duì)還把 TF-T2V 作為教師模型，利用一致性蒸餾技術(shù)得到了 VideoLCM 模型:

　　不同于之前視頻生成方法需要大約50步 DDIM 去噪步驟，基于 TF-T2V 的 VideoLCM 方法可以只需要進(jìn)行大約4步推理去噪就生成高保真的視頻，極大地提升了視頻生成的效率。

　　一起來看看 VideoLCM 進(jìn)行4步去噪推理的結(jié)果:

　　具體細(xì)節(jié)和更多實(shí)驗(yàn)結(jié)果可以參考 VideoLCM 原論文或者項(xiàng)目主頁(yè)。

　　總而言之，TF-T2V 方案為視頻生成領(lǐng)域帶來了新思路，克服了數(shù)據(jù)集規(guī)模和標(biāo)注難題帶來的挑戰(zhàn)。利用大規(guī)模的無文本標(biāo)注視頻數(shù)據(jù)，TF-T2V 能夠生成高質(zhì)量的視頻，并應(yīng)用于多種視頻生成任務(wù)。這一創(chuàng)新將推動(dòng)視頻生成技術(shù)的發(fā)展，為各行各業(yè)帶來更廣闊的應(yīng)用場(chǎng)景和商業(yè)機(jī)會(huì)。