智譜新清影：模型全面升級、4K、任意比例、自帶音效

　　11月8日，智譜推出新清影：10s時長、4k、60幀超高清畫質(zhì)、任意尺寸，自帶音效，以及更好人體動作和物理世界模擬。

　　3個月前，作為國內(nèi)首個面向公眾開放的視頻生成產(chǎn)品，清影上線清言App，只需一段指令或圖片，30秒就能生成AI視頻。為人類影視創(chuàng)作帶來了更多創(chuàng)新玩法，如廣告制作、短視頻、表情包梗圖等。

　　清影發(fā)布后不久，GLM技術(shù)團隊先后開源了CogVideoX 2B和5B版本兩個模型，可在消費級顯卡上流暢運行，性能領(lǐng)先的CogVideoX-5B模型自開源以來受到廣泛的關(guān)注，并衍生出如CogVideoX-factory等大量的二次開發(fā)項目。

　　基于CogVideoX模型的最新技術(shù)進展和智譜最新推出的音效模型CogSound，新清影在以下5個方面實現(xiàn)了提升。

　　· 模型能力全面提升：在圖生視頻的質(zhì)量、美學表現(xiàn)、運動合理性以及復雜提示詞語義理解方面能力明顯增強。

　　· 4K超高清分辨率：支持生成 10s、4K、60幀超高清視頻，視覺體驗拉到極致，動態(tài)畫面更加流暢。

　　· 可變比例：支持任意比例的圖像生成視頻，超寬畫幅也能輕松Hold住，從而適應(yīng)不同的播放需求。

　　· 多通道生成能力：同一指令/圖片可以一次性生成4個視頻。

　　· 帶聲效的AI視頻：新清影可以生成與畫面匹配的音效了。音效功能將很快在本月上線公測。

　　即日起，新清影在智譜清言App上線，為了支持廣大開發(fā)者，智譜同時將CogVideoX v1.5-5B、CogVideoX v1.5-5B-I2V進行了開源。

　　生成視頻將為影視工作者、短視頻創(chuàng)作者提升產(chǎn)量、產(chǎn)能，在其生產(chǎn)流程中發(fā)揮重要作用。不到一年時間，生成視頻技術(shù)在視頻時長、生成速度、分辨率、一致性等方面已經(jīng)顯示出長足進步。新清影往前又邁進了一步，未來，智譜也將攜手視覺中國等合作伙伴，基于更豐富的視覺內(nèi)容，產(chǎn)出更好的AI生成視頻工具。

　　“默片 Sora”進入“有聲電影時代”

　　智譜認為真正的智能一定是多模態(tài)的，聽覺、視覺、觸覺等共同參與了人腦認知能力的形成，因此，智譜希望包括文字、圖像、語音和視覺等模態(tài)在內(nèi)的智譜多模態(tài)大模型矩陣，能夠進一步提高大模型的應(yīng)用和工具能力。

　　因此，GLM模型家族逐步從文字拓展至圖片、視頻、聲音，以及音效。今天，GLM家族加入了新成員——音效模型CogSound和音樂模型CogMusic。即將上線與大家見面的音效模型CogSound能根據(jù)視頻自動生成音效、節(jié)奏等音樂元素，它是基于GLM-4V的視頻理解能力，能夠準確識別并理解視頻背后的語義和情感，在此基礎(chǔ)上生成與之相匹配的音頻內(nèi)容，甚至生成復雜音效，如爆炸、水流、樂器、動物叫聲、交通工具聲等。

　　音效模型的出現(xiàn)能夠?qū)崿F(xiàn)視頻與聲音的同步創(chuàng)作。同時該模型在電影行業(yè)也具有廣泛的應(yīng)用前景，比如可以生成電影中的大規(guī)模戰(zhàn)斗場景和災(zāi)難場景的聲音，大大縮短了制作周期，降低了制作成本。

　　「CogVideoX + CogSound」由清影生成畫面，音效模型配音

　　兩周前，智譜剛剛發(fā)布最新的GLM-4-Voice情感語音模型。今天，隨著音效模型的加入，GLM大模型在聲音模態(tài)領(lǐng)域?qū)崿F(xiàn)了人聲、音效、音樂的多鏈路布局，基于圖像、視頻和聲音的多模態(tài)模型矩陣由此更加完整，意味著智譜在多模態(tài)和工具兩個維度上都朝著AGI的目標邁出了一小步。

　　音效模型將于本月上線清言App，與新清影一起生成有聲AI影片。智譜的理想狀態(tài)是，只需一個好的創(chuàng)意，剩下的事AI都能輔助搞定，輕松將一個idea、一張圖，變成一段自帶bgm的影片。相信這個組合能給創(chuàng)作者和用戶帶來AI生視頻的全新體驗。

　　當前，AI生成視頻用于影視創(chuàng)作仍需要多種不同的創(chuàng)作工具串聯(lián)使用。但基于智譜多模態(tài)的最新成果，實現(xiàn)這種一站式AI原生多模態(tài)工作流，這樣的前景無疑是激動人心的。