Open-Sora悄悄升級 支持16秒視頻生成和720p分辨率

　　Open-Sora 在開源社區(qū)悄悄更新了，現(xiàn)在，該項(xiàng)目不僅支持長達(dá)16秒的單鏡頭視頻生成，而且視頻分辨率最高可達(dá)720p，能夠處理各種寬高比的文本到圖像、文本到視頻、圖像到視頻、視頻到視頻以及無限長視頻的生成需求。

　　技術(shù)報(bào)告與模型架構(gòu):

　　Open-Sora技術(shù)報(bào)告已在GitHub上發(fā)布，詳細(xì)介紹了新功能和模型架構(gòu)。

　　作者團(tuán)隊(duì)對STDiT架構(gòu)進(jìn)行了關(guān)鍵性改進(jìn)，提高了模型的訓(xùn)練穩(wěn)定性和整體性能。

　　引入了旋轉(zhuǎn)位置編碼(RoPE embedding)和QK歸一化技術(shù)，以增強(qiáng)訓(xùn)練穩(wěn)定性。

　　ST-DiT-2架構(gòu)能夠自動(dòng)縮放位置編碼，處理不同大小尺寸的輸入。

　　多階段訓(xùn)練方法:

　　Open-Sora采用了多階段訓(xùn)練方法，通過分步驟引入數(shù)據(jù)，高效實(shí)現(xiàn)高質(zhì)量視頻生成。

　　初始階段視頻采用144p分辨率，混訓(xùn)圖片和更高分辨率視頻。

　　第二階段提升至240p和480p分辨率，第三階段進(jìn)一步增強(qiáng)至480p和720p。

　　統(tǒng)一的圖生視頻/視頻生視頻框架:

　　基于Transformer，DiT架構(gòu)可支持圖像到圖像及視頻到視頻任務(wù)。

　　提出掩碼策略來支持圖像和視頻的條件化處理。

　　掩碼策略配置:

　　引入了隨機(jī)掩碼策略，以隨機(jī)方式選擇并取消掩碼的幀，提高模型處理圖像條件化的能力。

　　支持多時(shí)間/分辨率/長寬比/幀率訓(xùn)練:

　　通過分桶策略，使用原始視頻的分辨率、長寬比和長度進(jìn)行訓(xùn)練，增加采樣靈活性。

　　數(shù)據(jù)收集和預(yù)處理流程:

　　作者團(tuán)隊(duì)提供了詳盡的數(shù)據(jù)收集與處理指南，分享了自動(dòng)化的數(shù)據(jù)處理流程。

　　性能全方位評測:

　　Open-Sora能夠?qū)⑽淖置枋鲛D(zhuǎn)化為動(dòng)人的動(dòng)態(tài)視頻，支持多種內(nèi)容、分辨率、長寬比和時(shí)長的生成。

　　盡管取得了進(jìn)展，但當(dāng)前生成的視頻在噪聲問題、時(shí)間一致性、人物生成質(zhì)量以及美學(xué)評分方面仍有待改進(jìn)。作者團(tuán)隊(duì)將在下一版本中優(yōu)先解決這些挑戰(zhàn)。