快手文生視頻模型可靈開(kāi)放測(cè)試 更懂物理，最長(zhǎng)可生成2分鐘視頻

　　昨天，快手公司推出了一款名為「可靈」的全新視頻生成大模型，該模型采用了與Sora相似的技術(shù)路線，并結(jié)合了快手自研的多項(xiàng)技術(shù)創(chuàng)新。這款模型不僅能夠生成長(zhǎng)達(dá)2分鐘、30fps、1080p分辨率的超長(zhǎng)視頻，支持多種寬高比，還能模擬物理世界的特性，精準(zhǔn)建模復(fù)雜運(yùn)動(dòng)。

　　亮點(diǎn):

　　1、生成能力強(qiáng)大:

　　支持長(zhǎng)達(dá)2分鐘的30fps高清視頻生成，分辨率高達(dá)1080p。

　　支持多種寬高比，包括豎版視頻，非常適合快手的短視頻生態(tài)。

　　2、運(yùn)動(dòng)和物理模擬:

　　準(zhǔn)確刻畫(huà)復(fù)雜、大幅度的運(yùn)動(dòng)，如公路上奔跑的老虎、宇航員在月球上行走等。

　　能夠模擬物理特性，如重力、液體流動(dòng)和光學(xué)反射等，生成的畫(huà)面更符合真實(shí)物理規(guī)律。

　　3、應(yīng)用場(chǎng)景廣泛:

　　從娛樂(lè)到教育，可靈的應(yīng)用場(chǎng)景廣泛。

　　支持文本轉(zhuǎn)視頻、多種控制信息輸入、以及豐富的內(nèi)容控制能力。

　　「可靈」大模型夠準(zhǔn)確刻畫(huà)復(fù)雜、大幅度的時(shí)空運(yùn)動(dòng)，如公路上高速奔跑的老虎，畫(huà)面連貫，動(dòng)作協(xié)調(diào)，甚至奔跑過(guò)程中軀干的抖動(dòng)也得到了細(xì)致展現(xiàn)。它還能模擬真實(shí)物理世界的特性，比如倒牛奶時(shí)的重力規(guī)律和液面上升，以及光學(xué)上的反射規(guī)律。此外，「可靈」還能真實(shí)反映與真實(shí)物理世界的交互，如小男孩吃漢堡時(shí)齒印的變化等。

　　技術(shù)特點(diǎn)

　　1、原生視頻生成技術(shù):

　　采用類(lèi)似Sora的DiT結(jié)構(gòu)，用Transformer代替?zhèn)鹘y(tǒng)的卷積網(wǎng)絡(luò)U-Net。

　　3D VAE網(wǎng)絡(luò)用于時(shí)空同步壓縮，提高重建質(zhì)量和訓(xùn)練性能。

　　3D Attention機(jī)制用于時(shí)空建模，提升復(fù)雜時(shí)空運(yùn)動(dòng)的建模能力。

　　2、高質(zhì)量數(shù)據(jù)支持:

　　構(gòu)建了完備的標(biāo)簽體系，對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行精細(xì)化篩選和分布調(diào)整。

　　專(zhuān)用的視頻描述模型生成精確、詳盡的結(jié)構(gòu)化視頻描述，提升模型的文本指令響應(yīng)能力。

　　3、高效訓(xùn)練策略:

　　使用分布式訓(xùn)練集群和優(yōu)化策略提高運(yùn)算效率。

　　分階段訓(xùn)練策略:初期低分辨率階段側(cè)重?cái)?shù)量，后期高分辨率階段側(cè)重質(zhì)量，確保模型在各階段的優(yōu)化。

　　實(shí)際應(yīng)用

　　1、快影APP:

　　可靈大模型已在快影APP中開(kāi)啟邀測(cè)，當(dāng)前版本支持生成720P視頻，豎版視頻生成能力即將開(kāi)放。

　　2、其他應(yīng)用:

　　“AI舞王”:上傳全身照，生成人物跟隨音樂(lè)跳舞的視頻。

　　“AI唱跳”:生成跳舞并唱歌的視頻。

　　未來(lái)還將推出圖生視頻功能。

　　快手在大模型技術(shù)方面動(dòng)作迅速，與多個(gè)高�；蚩蒲袡C(jī)構(gòu)合作發(fā)布了多項(xiàng)關(guān)鍵技術(shù)，為「可靈」大模型積累了深厚的技術(shù)沉淀�，F(xiàn)在，快手的文生視頻功能已正式亮相，期待其在短視頻場(chǎng)景中的應(yīng)用落地。

　　對(duì)AI視頻創(chuàng)作感興趣的用戶(hù)，可以在快影APP中體驗(yàn)「可靈」大模型的功能。

　　體驗(yàn)方法：快影 APP-AI 玩法-AI 視頻生成中申請(qǐng)。