16秒720p高清視頻,現(xiàn)在人人可免費一鍵生成!
無論是精致的人物肖像:
還是炫酷的科幻大片:
亦或是生動有趣的動畫:
流暢的變焦效果:
以上生成效果,全部來自免費開源的潞晨Open-Sora。
從3月發(fā)布以來,潞晨Open-Sora一直熱度不減,GitHub上攬星已經(jīng)17.5K。
(GitHub:https://github.com/hpcaitech/Open-Sora)
英偉達入股的AI公司Lambda Labs,也基于潞晨Open-Sora模型權(quán)重打造了數(shù)字樂高宇宙。
而在公布模型權(quán)重和訓(xùn)練細節(jié)后,潞晨Open-Sora還在持續(xù)開源中。
最近,其幕后團隊在GitHub上曬出了技術(shù)路線,進一步披露了最新版本模型的訓(xùn)練核心內(nèi)容報告地址:https://github.com/hpcaitech/Open-Sora/blob/main/docs/report_03.md。
具體細節(jié),一起來看。
訓(xùn)練成本再降低
最新版本的潞晨Open-Sora在此前基礎(chǔ)上引入了視頻壓縮網(wǎng)絡(luò)(Video Compression Network)、更優(yōu)擴散模型算法、更多的可控性,并利用更多數(shù)據(jù)訓(xùn)練出了1.1B擴散生成模型。
能在保障模型輸出質(zhì)量的同時,降低計算資源的消耗。
其中,引入視頻壓縮網(wǎng)絡(luò)是OpenAI的Sora同款方法。它能在時間維度上進行4倍壓縮,無需抽幀,可以使用原始FPS生成視頻。
考慮到訓(xùn)練一個3D VAE的成本太高,團隊嘗試讓模型重新利用在2D VAE中學(xué)習(xí)到的知識。在2D VAE壓縮后,時間維度上的相鄰特征仍然高度相關(guān)。
因此團隊提出了一個簡單的視頻壓縮網(wǎng)絡(luò)(即VAE),它能首先在空間維度上實現(xiàn)8x8倍的壓縮,再從時間維度上壓縮4倍。
該網(wǎng)絡(luò)框架如下:
具體訓(xùn)練過程分為三步:
1、前380K步,在8個GPU上訓(xùn)練,凍結(jié)2D VAE的權(quán)重,只訓(xùn)練3D VAE部分,即對時間維度的壓縮重建。訓(xùn)練目標(biāo)為對2D VAE encoder輸出的特征進行時間維度的壓縮重建,并添加一個identity loss使得新訓(xùn)練的3D VAE輸出的特征盡可能和原始2D VAE的特征相似。團隊發(fā)現(xiàn)加上這種identity loss可以很快讓整個VAE達到良好的壓縮重建性能,并在下一階段收斂速度快很多。
2、接下來的260K步,移除掉identity loss,繼續(xù)單獨訓(xùn)練3D VAE部分。
3、最后540K步,由于發(fā)現(xiàn)只重建2D VAE特征并不能進一步提升性能,所以解凍了2D VAE權(quán)重,開始訓(xùn)練整個VAE模型來重建原始視頻。該階段在24個GPU上完成。
其中前兩個階段的訓(xùn)練數(shù)據(jù)使用20%圖像和80%視頻,視頻用17幀進行訓(xùn)練;最后一個階段用34幀的隨機幀數(shù)視頻進行訓(xùn)練,使VAE模型可以壓縮任意長度的視頻。訓(xùn)練和推理的代碼已開源。
Rectified flow和模型適配
另外,基于最新Stable Diffusion3的開源成果,提供了一套完整的訓(xùn)練解決方案。
Stable Diffusion3通過采用了rectified flow技術(shù)替代 DDPM,顯著提升了圖片和視頻生成的質(zhì)量。
潞晨Open-Sora團隊帶來的技術(shù)包括:
簡單易用的整流(rectified flow)訓(xùn)練
用于訓(xùn)練加速的 Logit-norm 時間步長采樣
基于分辨率和視頻長度的時間步長采樣
通過這些技術(shù)的整合,不僅能夠加快模型的訓(xùn)練速度,還能顯著減少推理階段的等待時間,確保用戶體驗的流暢性。
此外,這套訓(xùn)練方案還支持在推理過程中輸出多種視頻寬高比,滿足了多樣化場景下的視頻素材需求,為視頻內(nèi)容創(chuàng)作者提供了更加豐富的創(chuàng)作工具.
此外,技術(shù)報告中還透露了更多模型訓(xùn)練的核心細節(jié),包括數(shù)據(jù)清洗和調(diào)優(yōu)的使用技巧。同時團隊構(gòu)建了更完善的模型評估體系,保障模型的穩(wěn)健性和泛化能力。
通過提供可自行一鍵部署的Gradio應(yīng)用,并支持調(diào)節(jié)輸出的運動分數(shù)、美學(xué)分數(shù)和鏡頭移動方式等參數(shù),還能一鍵通過GPT-4o 自動修改指令并支持中文輸入。
傳送門
文生視頻爆火后,潞晨Open-Sora持續(xù)開源為該領(lǐng)域發(fā)展做出了貢獻。
潞晨Open-Sora可零門檻免費獲得模型權(quán)重、全套訓(xùn)練代碼,沉浸式游戲、創(chuàng)意廣告、制作影視大片……都能來試試~
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹慎對待。投資者據(jù)此操作,風(fēng)險自擔(dān)。
近日,德國柏林國際電子消費品展覽會(IFA2024)隆重舉辦。憑借在核心技術(shù)、產(chǎn)品設(shè)計及應(yīng)用方面的創(chuàng)新變革,全球領(lǐng)先的智能終端企業(yè)TCL實業(yè)成功斬獲兩項“IFA全球產(chǎn)品設(shè)計創(chuàng)新大獎”金獎,有力證明了其在全球市場的強大影響力。
近日,中國家電及消費電子博覽會(AWE 2024)隆重開幕。全球領(lǐng)先的智能終端企業(yè)TCL實業(yè)攜多款創(chuàng)新技術(shù)和新品亮相,以敢為精神勇闖技術(shù)無人區(qū),斬獲四項AWE 2024艾普蘭大獎。
“以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進了21600元。
由世界人工智能大會組委會、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會共同指導(dǎo),由上海市人工智能行業(yè)協(xié)會聯(lián)合上海人工智能實驗室、上海臨港經(jīng)濟發(fā)展(集團)有限公司、開放原子開源基金會主辦的“2024全球開發(fā)者先鋒大會”,將于2024年3月23日至24日舉辦。