Sora平替？2分鐘超長AI視頻模型StreamingT2V免費開源

　　近日，Picsart AI Research等團隊聯(lián)合發(fā)布了一款名為StreamingT2V的AI視頻模型，該模型能夠生成長達1200幀、時長達2分鐘的視頻，這在技術上超越了之前備受關注的Sora模型。StreamingT2V的發(fā)布不僅在視頻長度上取得了突破，而且它是一個免費開源的項目，可以無縫兼容SVD和animatediff等模型，這對于開源生態(tài)的發(fā)展具有重要意義。

　　在Sora之前，市場上的視頻生成模型如Pika、Runway、Stable Video Diffusion(SVD)等，通常只能生成幾秒鐘到十幾秒的視頻。Sora的出現(xiàn)以其60秒的視頻生成能力成為行業(yè)的新標桿。而現(xiàn)在，StreamingT2V的推出，不僅在時長上有所突破，理論上還可以做到無限長，這為視頻生成領域帶來了更多可能性。

　　StreamingT2V的架構采用了先進的自回歸技術，能夠創(chuàng)建具有豐富運動動態(tài)的長視頻，同時保持視頻的時間一致性和高幀級圖像質(zhì)量。與現(xiàn)有的文本到視頻擴散模型相比，這些模型通常集中在高質(zhì)量的短視頻生成上，而在擴展到長視頻時往往會出現(xiàn)質(zhì)量下降、表現(xiàn)生硬或停滯等問題。StreamingT2V通過引入條件注意力模塊(CAM)和外觀保留模塊(APM)，以及一種隨機混合方法，有效地解決了這些問題。

　　CAM作為短期記憶塊，通過注意機制調(diào)節(jié)當前一代的視頻，以實現(xiàn)一致的塊過渡;而APM作為長期記憶塊，從第一個視頻塊中提取高級場景和對象特征，防止模型忘記初始場景。此外，StreamingT2V還利用高分辨率文本到視頻模型對生成的視頻進行自動回歸增強，以提高質(zhì)量和分辨率。

　　目前，StreamingT2V已經(jīng)在GitHub上開源，并在huggingface上提供了免費試玩。盡管服務器負載可能較高，但用戶可以嘗試輸入文字和圖片提示來生成視頻。此外，huggingface上也展示了一些成功的案例，證明了StreamingT2V在視頻生成方面的強大能力。

　　StreamingT2V的發(fā)布不僅為視頻生成領域帶來了新的技術突破，也為開源社區(qū)提供了一個強大的工具，有助于推動相關技術的發(fā)展和應用。未來，我們或許可以期待更多基于這類技術的創(chuàng)新應用，例如在電影制作、游戲開發(fā)、虛擬世界構建等領域發(fā)揮重要作用。