智譜AI上線全新迭代的AI視頻模型“新清影”

　　智譜宣布全新迭代的AI視頻模型“新清影”，正式上線。

　　10s、4k、60幀，還能自帶生成挺匹配的AI音效。

　　視頻模型已經(jīng)上線智譜清言上，人人可用。音效模型這個(gè)月也即將上線。

　　這個(gè)點(diǎn)，其實(shí)還好，就是線上模型迭代升級(jí)了一版而已。

　　但是最牛逼的是，他們直接宣布，把這個(gè)“新清影”背后的底層模型，也就是CogVideoX v1.5，直接開(kāi)源了。。。

　　我覺(jué)得他們瘋了，真的。

　　上上周發(fā)類(lèi)似GPT4o那種端到端的語(yǔ)音對(duì)話模型也是，直接發(fā)布即開(kāi)源。

　　真的，智譜給我整不會(huì)了。

　　周二才夸過(guò)騰訊混元，開(kāi)源了他們參數(shù)最大的MoE模型混元Large和AI3D模型Hunyuan3D-1.0。

　　現(xiàn)在智譜直接接力，直接開(kāi)源了他們內(nèi)部效果最好的AI視頻模型。

　　還是那句話，對(duì)于每一個(gè)愿意開(kāi)源，讓社會(huì)、讓開(kāi)源社區(qū)，百尺竿頭更進(jìn)一步的公司。我都永遠(yuǎn)報(bào)以最崇高的敬意，和最大的善意。

　　CogVideoX v1.5我也第一時(shí)間去測(cè)試了一下。

　　普通用戶(hù)也可以去智譜清影上玩。

　　我放一些我自己跑的case吧。

　　非常坦率的講，智譜的新清影，跟上一代比，已經(jīng)進(jìn)步巨大了。

　　不管是審美、還是動(dòng)作幅度、還是物理規(guī)律、還是穩(wěn)定程度。

　　真的，上一代的人物變形變得我到現(xiàn)在都還記憶猶新。

　　但是如果你要把他跟業(yè)界最好的比，比如你跟豆包PixelDance比分鏡比運(yùn)鏡，那肯定還是差了一定距離的。

　　畢竟這一版的新清影，在版本號(hào)上，還是一個(gè)折中的階段，也就是CogVideoX v1.5，而且他們進(jìn)步速度還是飛快的。

　　當(dāng)時(shí)8月也是第一個(gè)把生視頻全面公開(kāi)讓c端來(lái)玩的，說(shuō)實(shí)話也勇氣可嘉。

　　而且我問(wèn)了一下內(nèi)部人，參數(shù)量更大更新更強(qiáng)的模型正在訓(xùn)練，如果等過(guò)兩個(gè)月CogVideoX v2.0階段，可能又會(huì)來(lái)一波進(jìn)化的飛躍。

　　當(dāng)然，不管怎么樣，智譜敢把新清影發(fā)布即開(kāi)源，就憑這點(diǎn)，我贊智譜一聲勇士。

　　上一次他們開(kāi)源CogVideoX，直接給開(kāi)源社區(qū)貢獻(xiàn)了一波大力。

　　一群老外直接玩的飛起。

　　比如微調(diào)一個(gè)自己的視頻模型。

　　比如微調(diào)一個(gè)室內(nèi)設(shè)計(jì)的專(zhuān)屬視頻模型。

　　等等等等。

　　AI繪圖的開(kāi)源生態(tài)已經(jīng)被玩出花了，但是AI視頻的生態(tài)，確實(shí)還是非常的貧瘠，不管是配套插件，還是微調(diào)方式，還是模型數(shù)量等等，都還遠(yuǎn)遠(yuǎn)處于起步階段。

　　希望這一波新清影CogVideoX v1.5的開(kāi)源，能讓AI視頻的開(kāi)源社區(qū)和生態(tài)，繼續(xù)沸騰一次。

　　除了CogVideoX v1.5的開(kāi)源之外，還有另一個(gè)東西我覺(jué)得非常值得說(shuō)，雖然它還沒(méi)有上線，但是在這次的demo里一窺了真容。

　　就是智譜的AI音效模型。

　　智譜可能是我知道的，唯一一個(gè)，什么模態(tài)都做的，關(guān)鍵，每個(gè)模特居然做的都還不錯(cuò)。

　　我真的，尊稱(chēng)一聲模型法王。

　　給你們數(shù)一下。

　　文本生成 -GLM

　　圖像生成 -CogView

　　視頻生成 - CogVideoX

　　音效生成 - CogSound

　　音樂(lè)生成 - CogMusic

　　端對(duì)端語(yǔ)音 - GLM-4-Voice

　　自主代理 - AutoGLM

　　圖像理解 - CogVLM

　　...

　　這些，還不包括代碼生成、圖片理解、視頻理解等等。。。

　　我只能說(shuō)一句佩服。

　　說(shuō)回智譜的這個(gè)AI音效模型。

　　通俗的理解，就是給一段視頻，配上音效。

　　我先放兩個(gè)case，這兩case都是清影生的視頻，然后用他們的AI音效模型CogSound配音。

　　這小音效還是挺適配的。也可以傳一段現(xiàn)有的視頻素材進(jìn)去。

　　比如這是我很喜歡的一部電影《妖貓傳》里的經(jīng)典鏡頭，而這次，整段音效，都是我把視頻片段扔給智譜后，他們配的。

　　感覺(jué)非常好，甚至最后的煙花爆炸的聲音，都跟煙花爆炸的那一刻，精準(zhǔn)的對(duì)上了。

　　我之前在11Labs的AI音效評(píng)測(cè)中也說(shuō)過(guò)，音效設(shè)計(jì)，一直是一個(gè)非常重要、難度極高但又容易被大家忽視的領(lǐng)域。

　　一部片子或者游戲能讓你沉浸進(jìn)去，你可能更多的會(huì)夸他的劇情、畫(huà)面、配樂(lè)，但是很少有人會(huì)去夸他的音效，比如夸你這個(gè)關(guān)門(mén)聲關(guān)的真真實(shí)等等。

　　但是音效，是沉浸感中絕對(duì)重要的一環(huán)，而做一個(gè)優(yōu)秀的音效，有時(shí)候難度更是超高，比如《哥斯拉》里面經(jīng)典的吼聲。

　　制作團(tuán)隊(duì)用了很多種方法去做哥斯拉的吼，比如用干冰升華時(shí)在金屬通風(fēng)管道中造成的震動(dòng)和尖叫制作出了哥斯拉金屬質(zhì)感的長(zhǎng)嘯，比如他們?cè)趻伖膺^(guò)的地板上用大木箱拖動(dòng)，拖出了那一陣陣令人毛骨悚然的胸腔共鳴。

　　這才有了這史上最著名的怪獸的驚鴻一瞥。

　　現(xiàn)在，你可以用智譜的AI音效，生成一段哥斯拉的吼聲。

　　質(zhì)感上肯定跟原版那種極致的特斯拉還差了一些，但是也是極好的開(kāi)頭。

　　音效，真的很重要。而AI音效的產(chǎn)品，其實(shí)從今年3月，就出來(lái)了不少的。但是都有一個(gè)問(wèn)題。

　　就是他們的AI音效設(shè)計(jì)，是直接用文字生成音頻的。

　　比如PIKA很早的時(shí)候就做了生成的AI視頻自帶音效。

　　但是跟畫(huà)面的匹配度，其實(shí)極低。因?yàn)槭羌兇獾奈淖稚�成音效后，再直接把這個(gè)音效音軌給你拼到視頻里，至于合不合拍，那就純靠人品，比隨機(jī)還隨機(jī)。

　　但是智譜這次的做法，非常的有趣。

　　他們是先把視頻過(guò)一遍他們自己的視頻理解模型，然后得到畫(huà)面關(guān)鍵信息，再用畫(huà)面關(guān)鍵信息和prompt，去生成音效模型。

　　這樣的做法，音效和畫(huà)面的匹配度，就實(shí)在是高太多太多了。

　　為啥別人家不這么做呢?廢話，因?yàn)閯e人家沒(méi)有視頻理解模型啊...

　　智譜的全模態(tài)模型的生態(tài)，雖然之前都是一個(gè)一個(gè)小點(diǎn)，但是我有一種感覺(jué)，就是未來(lái)的某一天，這些小點(diǎn)會(huì)逐漸連成線，結(jié)成網(wǎng)，最后形成一道堅(jiān)不可摧的巨大的面。

　　這可能，就是生態(tài)的優(yōu)勢(shì)吧。

　　窮則獨(dú)善其身，達(dá)則兼濟(jì)天下。

　　我愛(ài)每一個(gè)愿意開(kāi)源的公司。

　　當(dāng)OpenAI變成CloseAI。

　　智譜接過(guò)了那個(gè)Open的大旗。

　　然后高喊出那一句。

　　China，No.1!