6月13日,知名3D建模平臺(tái)Luma AI發(fā)布最新文生視頻模型Dream Machine,向所有用戶免費(fèi)開放使用。
Dream Machine除了支持文本之外,還可使用圖片作為引導(dǎo)來生成視頻,其生成的視頻質(zhì)量、動(dòng)作一致性、色彩、光影、飽和度、運(yùn)鏡等方面,可以媲美OpenAI的Sora。
Dream Machine的另外一個(gè)技術(shù)特點(diǎn)是支持物理模擬,這意味著生成的視頻更能體現(xiàn)出物理世界的特點(diǎn),包括重力下落、碰撞、光影變化等。
為什么物理模擬,對(duì)文生視頻很重要
目前,國(guó)內(nèi)外文生視頻賽道都主打“物理模擬”這個(gè)技術(shù)特點(diǎn),可以確保生成的視頻不僅看起來非常真實(shí),并在時(shí)間和空間上保持連貫性、一致性。
麻省理工學(xué)院、斯坦福大學(xué)、哥倫比亞大學(xué)和康奈爾大學(xué)聯(lián)合開源的3D交互視頻模型就深度介紹過該技術(shù)。
動(dòng)態(tài)模擬與物理一致性是大模型生成高質(zhì)量視頻的核心技術(shù)之一,要想實(shí)現(xiàn)這兩點(diǎn),就需要理解和模擬現(xiàn)實(shí)世界中的物理規(guī)律。
動(dòng)態(tài)模擬指的是視頻生成過程中對(duì)物體和場(chǎng)景的運(yùn)動(dòng)進(jìn)行精確的模擬。在一個(gè)視頻片段中,物體的運(yùn)動(dòng)軌跡、速度和加速度需要符合現(xiàn)實(shí)世界的物理定律。
例如,當(dāng)一盆花在風(fēng)中左右搖擺時(shí),視頻中的每一幀都必須展示花盆和花朵按照風(fēng)力的作用進(jìn)行擺動(dòng),花盆由于重力和風(fēng)力的交互作用而略微傾斜,然后在風(fēng)力減弱時(shí)逐漸恢復(fù)到垂直狀態(tài)。
這種模擬需要對(duì)物體的運(yùn)動(dòng)狀態(tài)進(jìn)行連續(xù)的計(jì)算和更新,確保視頻前后幀之間的連貫性。
物理一致性是視頻中的物體和場(chǎng)景遵循現(xiàn)實(shí)世界的物理規(guī)律,包括重力、碰撞、摩擦力、空氣阻力等。
這不僅僅是對(duì)單個(gè)物體運(yùn)動(dòng)的模擬,還包括物體之間的相互作用。例如,在生成兩輛車相撞的場(chǎng)景時(shí),模型需要模擬碰撞時(shí)的力和反作用力,考慮車體的變形和碎片飛散的方向和速度。這種物理一致性使得生成的視頻更加逼真和可信。
所以,為了實(shí)現(xiàn)動(dòng)態(tài)模擬與物理一致性,文生視頻模型通常會(huì)使用大量包含了現(xiàn)實(shí)世界中物體運(yùn)動(dòng)和相互作用的視頻數(shù)據(jù)和互作用實(shí)例。
通過學(xué)習(xí)這些數(shù)據(jù),模型可以捕捉到物體運(yùn)動(dòng)的規(guī)律和相互作用的模式,并將其應(yīng)用到新的視頻生成過程中。
此外,有的視頻模型可能還會(huì)加入物理引擎,將場(chǎng)景中的物體和環(huán)境參數(shù)輸入到模擬器中,然后通過數(shù)值計(jì)算來模擬這些物體在受力后的運(yùn)動(dòng)和變化。
例如,當(dāng)生成一個(gè)描述風(fēng)吹動(dòng)樹葉的視頻時(shí),物理模擬引擎會(huì)計(jì)算風(fēng)力對(duì)樹葉的影響,包括風(fēng)的速度、方向?qū)淙~的擺動(dòng)和飄落的影響?梢宰尨竽P蜕傻囊曨l不僅在視覺上逼真,而且在物理行為上也是一致的。
Dream Machine生成案例展示
由于Dream Machine免費(fèi)開放使用,使用的人非常非常多,目前生成的效率比較差。
官方宣稱生成一個(gè)視頻是120秒左右,實(shí)際是幾分鐘甚至10分鐘左右才能生成一個(gè)視頻,效果還是相當(dāng)好的。
那就先為大家展示一下其他人已經(jīng)生成好的視頻作品。
例如,一個(gè)真實(shí)的廢墟場(chǎng)景拍攝鏡頭。這個(gè)生成的視頻有點(diǎn)像虛幻引擎5游戲里的場(chǎng)景,已經(jīng)非常真實(shí)了。
一輛飛奔在高速公路上的跑車。雖然這個(gè)視頻只有5秒鐘,但是它的運(yùn)鏡、場(chǎng)景切換浮動(dòng)很大,而且連貫、絲滑,這比Gen-2、Pika等同類產(chǎn)品生成的效果更好。
下面這個(gè)是圖片生成視頻的案例,本身是一張靜止的圖片,加上圖片和文本描述輕松就動(dòng)起來了,可以看到運(yùn)動(dòng)性的幅度依然很大。
也有一些接受過內(nèi)測(cè)邀請(qǐng)的,通過Dream Machine做了不少微電影。例如,下面這個(gè)做的《Tales of the Other Side》電影預(yù)告。
制作的人類在未來與機(jī)器人關(guān)系的微電影。
一部關(guān)于怪物的卡通動(dòng)漫視頻
今年年初OpenAI發(fā)布的Sora確實(shí)很驚艷,但將近4個(gè)月的時(shí)間還在封閉測(cè)試中,無疑極大打擊了用戶的熱情。
而國(guó)內(nèi)快手發(fā)布的“可靈”和今天最新的Dream Machine已經(jīng)全面開放使用,并且在生成的視頻質(zhì)量方面不輸Sora,文生視頻賽道的競(jìng)爭(zhēng)格局將會(huì)像文本一樣更加激烈。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請(qǐng)謹(jǐn)慎對(duì)待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。
近日,德國(guó)柏林國(guó)際電子消費(fèi)品展覽會(huì)(IFA2024)隆重舉辦。憑借在核心技術(shù)、產(chǎn)品設(shè)計(jì)及應(yīng)用方面的創(chuàng)新變革,全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)成功斬獲兩項(xiàng)“IFA全球產(chǎn)品設(shè)計(jì)創(chuàng)新大獎(jiǎng)”金獎(jiǎng),有力證明了其在全球市場(chǎng)的強(qiáng)大影響力。
近日,中國(guó)家電及消費(fèi)電子博覽會(huì)(AWE 2024)隆重開幕。全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)攜多款創(chuàng)新技術(shù)和新品亮相,以敢為精神勇闖技術(shù)無人區(qū),斬獲四項(xiàng)AWE 2024艾普蘭大獎(jiǎng)。
“以前都要去窗口辦,一套流程下來都要半個(gè)月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
由世界人工智能大會(huì)組委會(huì)、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會(huì)共同指導(dǎo),由上海市人工智能行業(yè)協(xié)會(huì)聯(lián)合上海人工智能實(shí)驗(yàn)室、上海臨港經(jīng)濟(jì)發(fā)展(集團(tuán))有限公司、開放原子開源基金會(huì)主辦的“2024全球開發(fā)者先鋒大會(huì)”,將于2024年3月23日至24日舉辦。