階躍星辰 Step-Video-TI2V 圖生視頻模型開(kāi)源

　　上海階躍星辰智能科技有限公司宣布開(kāi)源其最新的圖生視頻模型——Step-Video-TI2V。這一模型是基于30B參數(shù)的Step-Video-T2V訓(xùn)練而成，能夠生成102幀、5秒、540P分辨率的視頻，具有運(yùn)動(dòng)幅度可控和鏡頭運(yùn)動(dòng)可控兩大核心特點(diǎn)，尤其在動(dòng)漫效果方面表現(xiàn)出色。與現(xiàn)有的開(kāi)源圖生視頻模型相比，Step-Video-TI2V不僅在參數(shù)規(guī)模上提供了更高的上限，其運(yùn)動(dòng)幅度可控能力還能平衡視頻生成結(jié)果的動(dòng)態(tài)性和穩(wěn)定性，為創(chuàng)作者提供了更靈活的選擇。

　　Step-Video-TI2V的開(kāi)發(fā)過(guò)程中，團(tuán)隊(duì)進(jìn)行了兩大關(guān)鍵優(yōu)化。首先，引入圖像條件以提高生成視頻與原圖的一致性。與傳統(tǒng)的cross-attention方法不同，該模型采用了更直接的方式，將圖像對(duì)應(yīng)的向量表示與DiT第一幀對(duì)應(yīng)的向量表示直接進(jìn)行channel維度的拼接，從而確保生成的視頻與輸入圖片高度一致。其次，通過(guò)AdaLN模塊引入視頻動(dòng)態(tài)性打分信息，使用戶在生成視頻時(shí)可以指定不同的運(yùn)動(dòng)級(jí)別，精準(zhǔn)控制視頻的動(dòng)態(tài)幅度，從而平衡動(dòng)態(tài)性、穩(wěn)定性和一致性。此外，團(tuán)隊(duì)還對(duì)主體動(dòng)作和鏡頭運(yùn)動(dòng)進(jìn)行了專項(xiàng)精準(zhǔn)標(biāo)注，進(jìn)一步提升了模型在主體動(dòng)態(tài)性和運(yùn)鏡效果上的表現(xiàn)。

　　Step-Video-TI2V的核心特點(diǎn)包括運(yùn)動(dòng)幅度可控、多種運(yùn)鏡控制、動(dòng)漫效果優(yōu)異以及支持多尺寸生成。用戶可以根據(jù)創(chuàng)作需求自由切換動(dòng)態(tài)與穩(wěn)定畫(huà)面，生成從基本的推拉搖移、升降到復(fù)雜電影級(jí)運(yùn)鏡效果的視頻。該模型在動(dòng)漫類任務(wù)上的表現(xiàn)尤為突出，非常適合動(dòng)畫(huà)創(chuàng)作和短視頻制作等應(yīng)用場(chǎng)景。同時(shí)，它支持多種尺寸的圖生視頻，無(wú)論是橫屏、豎屏還是方屏，都能滿足不同平臺(tái)的需求。