字節(jié)跳動豆包視頻生成大模型發(fā)布

　　2024火山引擎 AI 創(chuàng)新巡展在深圳舉辦，豆包大模型家族迎來新成員：全新發(fā)布豆包·視頻生成模型、以及豆包·音樂模型、豆包·同聲傳譯模型、豆包通用模型pro 和文生圖模型、語音合成模型等垂類模型大幅升級。

　　豆包·視頻生成模型能遵從復(fù)雜 prompt，解鎖時序性多拍動作指令與多個主體間的交互能力。

　　該模型支持高效的 DiT 融合計(jì)算單元、全新設(shè)計(jì)的擴(kuò)散模型訓(xùn)練方法和深度優(yōu)化的 Transformer 結(jié)構(gòu)，可以實(shí)現(xiàn)更充分地壓縮編碼視頻與文本，支持一致性多鏡頭生成，能夠大幅提升視頻生成的泛化能力。

　　官方介紹稱，無論是語義理解能力，多個主體運(yùn)動的復(fù)雜交互畫面，還是多鏡頭切換的內(nèi)容一致性，豆包視頻生成大模型均達(dá)到業(yè)界先進(jìn)水平。

　　據(jù)火山引擎介紹，豆包視頻生成模型基于 DiT 架構(gòu)，通過高效的 DiT 融合計(jì)算單元，讓視頻在大動態(tài)與運(yùn)鏡中自由切換，擁有變焦、環(huán)繞、平搖、縮放、目標(biāo)跟隨等多鏡頭語言能力。豆包視頻生成模型具備專業(yè)級光影布局和色彩調(diào)和，畫面視覺極具美感和真實(shí)感。

　　深度優(yōu)化的 Transformer 結(jié)構(gòu)，則大幅提升了豆包視頻生成的泛化能力，支持 3D 動畫、2D 動畫、國畫、黑白、厚涂等多種風(fēng)格，適配電影、電視、電腦、手機(jī)等各種設(shè)備的比例，不僅適用于電商營銷、動畫教育、城市文旅、微劇本等企業(yè)場景，也能為專業(yè)創(chuàng)作者和藝術(shù)家們提供創(chuàng)作輔助。