智譜AI上線全新迭代的AI視頻模型“新清影”

　　智譜宣布全新迭代的AI視頻模型“新清影”，正式上線。

　　10s、4k、60幀，還能自帶生成挺匹配的AI音效。

　　視頻模型已經(jīng)上線智譜清言上，人人可用。音效模型這個月也即將上線。

　　這個點(diǎn)，其實(shí)還好，就是線上模型迭代升級了一版而已。

　　但是最牛逼的是，他們直接宣布，把這個“新清影”背后的底層模型，也就是CogVideoX v1.5，直接開源了。。。

　　我覺得他們瘋了，真的。

　　上上周發(fā)類似GPT4o那種端到端的語音對話模型也是，直接發(fā)布即開源。

　　真的，智譜給我整不會了。

　　周二才夸過騰訊混元，開源了他們參數(shù)最大的MoE模型混元Large和AI3D模型Hunyuan3D-1.0。

　　現(xiàn)在智譜直接接力，直接開源了他們內(nèi)部效果最好的AI視頻模型。

　　還是那句話，對于每一個愿意開源，讓社會、讓開源社區(qū)，百尺竿頭更進(jìn)一步的公司。我都永遠(yuǎn)報以最崇高的敬意，和最大的善意。

　　CogVideoX v1.5我也第一時間去測試了一下。

　　普通用戶也可以去智譜清影上玩。

　　我放一些我自己跑的case吧。

　　非常坦率的講，智譜的新清影，跟上一代比，已經(jīng)進(jìn)步巨大了。

　　不管是審美、還是動作幅度、還是物理規(guī)律、還是穩(wěn)定程度。

　　真的，上一代的人物變形變得我到現(xiàn)在都還記憶猶新。

　　但是如果你要把他跟業(yè)界最好的比，比如你跟豆包PixelDance比分鏡比運(yùn)鏡，那肯定還是差了一定距離的。

　　畢竟這一版的新清影，在版本號上，還是一個折中的階段，也就是CogVideoX v1.5，而且他們進(jìn)步速度還是飛快的。

　　當(dāng)時8月也是第一個把生視頻全面公開讓c端來玩的，說實(shí)話也勇氣可嘉。

　　而且我問了一下內(nèi)部人，參數(shù)量更大更新更強(qiáng)的模型正在訓(xùn)練，如果等過兩個月CogVideoX v2.0階段，可能又會來一波進(jìn)化的飛躍。

　　當(dāng)然，不管怎么樣，智譜敢把新清影發(fā)布即開源，就憑這點(diǎn)，我贊智譜一聲勇士。

　　上一次他們開源CogVideoX，直接給開源社區(qū)貢獻(xiàn)了一波大力。

　　一群老外直接玩的飛起。

　　比如微調(diào)一個自己的視頻模型。

　　比如微調(diào)一個室內(nèi)設(shè)計的專屬視頻模型。

　　等等等等。

　　AI繪圖的開源生態(tài)已經(jīng)被玩出花了，但是AI視頻的生態(tài)，確實(shí)還是非常的貧瘠，不管是配套插件，還是微調(diào)方式，還是模型數(shù)量等等，都還遠(yuǎn)遠(yuǎn)處于起步階段。

　　希望這一波新清影CogVideoX v1.5的開源，能讓AI視頻的開源社區(qū)和生態(tài)，繼續(xù)沸騰一次。

　　除了CogVideoX v1.5的開源之外，還有另一個東西我覺得非常值得說，雖然它還沒有上線，但是在這次的demo里一窺了真容。

　　就是智譜的AI音效模型。

　　智譜可能是我知道的，唯一一個，什么模態(tài)都做的，關(guān)鍵，每個模特居然做的都還不錯。

　　我真的，尊稱一聲模型法王。

　　給你們數(shù)一下。

　　文本生成 -GLM

　　圖像生成 -CogView

　　視頻生成 - CogVideoX

　　音效生成 - CogSound

　　音樂生成 - CogMusic

　　端對端語音 - GLM-4-Voice

　　自主代理 - AutoGLM

　　圖像理解 - CogVLM

　　...

　　這些，還不包括代碼生成、圖片理解、視頻理解等等。。。

　　我只能說一句佩服。

　　說回智譜的這個AI音效模型。

　　通俗的理解，就是給一段視頻，配上音效。

　　我先放兩個case，這兩case都是清影生的視頻，然后用他們的AI音效模型CogSound配音。

　　這小音效還是挺適配的。也可以傳一段現(xiàn)有的視頻素材進(jìn)去。

　　比如這是我很喜歡的一部電影《妖貓傳》里的經(jīng)典鏡頭，而這次，整段音效，都是我把視頻片段扔給智譜后，他們配的。

　　感覺非常好，甚至最后的煙花爆炸的聲音，都跟煙花爆炸的那一刻，精準(zhǔn)的對上了。

　　我之前在11Labs的AI音效評測中也說過，音效設(shè)計，一直是一個非常重要、難度極高但又容易被大家忽視的領(lǐng)域。

　　一部片子或者游戲能讓你沉浸進(jìn)去，你可能更多的會夸他的劇情、畫面、配樂，但是很少有人會去夸他的音效，比如夸你這個關(guān)門聲關(guān)的真真實(shí)等等。

　　但是音效，是沉浸感中絕對重要的一環(huán)，而做一個優(yōu)秀的音效，有時候難度更是超高，比如《哥斯拉》里面經(jīng)典的吼聲。

　　制作團(tuán)隊(duì)用了很多種方法去做哥斯拉的吼，比如用干冰升華時在金屬通風(fēng)管道中造成的震動和尖叫制作出了哥斯拉金屬質(zhì)感的長嘯，比如他們在拋光過的地板上用大木箱拖動，拖出了那一陣陣令人毛骨悚然的胸腔共鳴。

　　這才有了這史上最著名的怪獸的驚鴻一瞥。

　　現(xiàn)在，你可以用智譜的AI音效，生成一段哥斯拉的吼聲。

　　質(zhì)感上肯定跟原版那種極致的特斯拉還差了一些，但是也是極好的開頭。

　　音效，真的很重要。而AI音效的產(chǎn)品，其實(shí)從今年3月，就出來了不少的。但是都有一個問題。

　　就是他們的AI音效設(shè)計，是直接用文字生成音頻的。

　　比如PIKA很早的時候就做了生成的AI視頻自帶音效。

　　但是跟畫面的匹配度，其實(shí)極低。因?yàn)槭羌兇獾奈淖稚�成音效后，再直接把這個音效音軌給你拼到視頻里，至于合不合拍，那就純靠人品，比隨機(jī)還隨機(jī)。

　　但是智譜這次的做法，非常的有趣。

　　他們是先把視頻過一遍他們自己的視頻理解模型，然后得到畫面關(guān)鍵信息，再用畫面關(guān)鍵信息和prompt，去生成音效模型。

　　這樣的做法，音效和畫面的匹配度，就實(shí)在是高太多太多了。

　　為啥別人家不這么做呢?廢話，因?yàn)閯e人家沒有視頻理解模型啊...

　　智譜的全模態(tài)模型的生態(tài)，雖然之前都是一個一個小點(diǎn)，但是我有一種感覺，就是未來的某一天，這些小點(diǎn)會逐漸連成線，結(jié)成網(wǎng)，最后形成一道堅(jiān)不可摧的巨大的面。

　　這可能，就是生態(tài)的優(yōu)勢吧。

　　窮則獨(dú)善其身，達(dá)則兼濟(jì)天下。

　　我愛每一個愿意開源的公司。

　　當(dāng)OpenAI變成CloseAI。

　　智譜接過了那個Open的大旗。

　　然后高喊出那一句。

　　China，No.1!