超越Sora！AI視頻模型StreamingT2V可生成120秒超長(zhǎng)視頻

　　近日，UT奧斯丁等機(jī)構(gòu)提出的StreamingT2V技術(shù)引發(fā)了廣泛關(guān)注，將AI視頻生成推向了新的高度。這項(xiàng)技術(shù)突破了以往視頻長(zhǎng)度的限制，實(shí)現(xiàn)了生成高度一致且長(zhǎng)度可擴(kuò)展的視頻。

　　StreamingT2V技術(shù)的核心構(gòu)架包括條件注意力模塊(CAM)和外觀保持模塊(APM)。CAM利用短期記憶單元確保視頻連續(xù)性，而APM作為長(zhǎng)期記憶單元保持視頻中對(duì)象或場(chǎng)景的一致性。這兩個(gè)模塊的結(jié)合，使得生成的視頻不僅動(dòng)態(tài)連貫，而且視覺(jué)效果高質(zhì)量。在測(cè)試中，研究人員用Streaming T2V生成1200幀，長(zhǎng)達(dá)2分鐘的視頻。

　　具體實(shí)現(xiàn)方法分為三個(gè)階段:初始化、Streaming T2V生成和Streaming Refinement。在初始化階段，利用文本到視頻模型創(chuàng)造視頻的前16幀;接著進(jìn)入Streaming T2V階段，通過(guò)自回歸技術(shù)生成后續(xù)幀，保證視頻內(nèi)容連貫性;最后，在Streaming Refinement階段對(duì)生成的視頻進(jìn)行優(yōu)化，提高畫(huà)質(zhì)和動(dòng)態(tài)效果。

　　特色亮點(diǎn)包括：

　　從文本描述生成2分鐘的視頻

　　創(chuàng)建具有復(fù)雜動(dòng)態(tài)運(yùn)動(dòng)的視頻

　　確保長(zhǎng)視頻中的時(shí)間一致性

　　該技術(shù)的出現(xiàn)標(biāo)志著AI視頻生成的新突破，不僅可以生成1200幀甚至無(wú)限長(zhǎng)的視頻，而且內(nèi)容過(guò)渡自然平滑，豐富多樣。與此同時(shí)，StreamingT2V技術(shù)的不斷完善和提升也將進(jìn)一步推動(dòng)AI視頻生成領(lǐng)域的發(fā)展，為視頻內(nèi)容創(chuàng)作提供更多可能性。