中國首個Sora級大模型Vidu：文本生成16秒，1080p高清視頻

　　4月27日，在2024中關(guān)村論壇-未來人工智能先鋒論壇上，清華大學聯(lián)合生數(shù)科技正式發(fā)布了，中國首個長時間、高一致性、高動態(tài)性視頻大模型——Vidu。

　　據(jù)悉，Vidu采用了原創(chuàng)的Diffusion與Transformer融合的架構(gòu)U-ViT，支持文本生成長達16秒、分辨率高達1080P的高清視頻內(nèi)容。

　　此外，Vidu不僅能夠模擬真實物理世界，還具備豐富想象力，具備多鏡頭生成、時空一致性高等技術(shù)特點。這也是繼Sora發(fā)布之后，全球率先取得重大突破的視頻大模型，性能全面對標國際頂尖水平，并加速功能迭代中。

　　Vidu架構(gòu)簡單介紹

　　生數(shù)科技的研發(fā)和原創(chuàng)能力非常強悍，已在全球頂級期刊arxiv上發(fā)布了超過15篇技術(shù)論文，這也是其能原創(chuàng)Vidu架構(gòu)的重要原因之一。

　　研究人員表示，Vidu的快速突破源自于團隊在貝葉斯機器學習和多模態(tài)大模型的長期積累和多項原創(chuàng)性成果。

　　其核心技術(shù)U-ViT架構(gòu)由團隊于2022年9月提出，早于Sora采用的DiT架構(gòu)，是全球首個Diffusion與Transformer融合的架構(gòu)。

　　2023年3月，生數(shù)科技開源了全球首個基于U-ViT融合架構(gòu)的多模態(tài)擴散模型UniDiffuser，并率先完成了U-ViT架構(gòu)的大規(guī)�？蓴U展性驗證。

　　基于對U-ViT架構(gòu)的深入理解以及長期積累的工程與數(shù)據(jù)經(jīng)驗，研究人員在短短兩個月里進一步突破了長視頻表示與處理的多項關(guān)鍵技術(shù)，成功研發(fā)了Vidu視頻大模型，顯著提升視頻的連貫性和動態(tài)性。

　　Vidu的發(fā)布不僅是U-ViT融合架構(gòu)在大規(guī)模視覺任務(wù)中的又一次成功驗證，也代表了生數(shù)科技在多模態(tài)原生大模型領(lǐng)域的持續(xù)創(chuàng)新能力和領(lǐng)先性。

　　作為通用視覺模型，Vidu能夠支持生成更加多樣化、更長時長的視頻內(nèi)容，同時面向未來，靈活架構(gòu)將能夠兼容更廣泛的模態(tài)，進一步拓展多模態(tài)通用能力的邊界。

　　除了Vidu視頻大模型之外，生數(shù)科技還提供文生圖片、文本或圖片生成3D模型，已經(jīng)提供在線使用，有興趣的小伙伴可以去體驗一下。

　　生數(shù)科技介紹

　　北京生數(shù)科技有限公司(簡稱“生數(shù)科技”)成立于2023年3月，核心團隊成員來自清華大學人工智能研究院，此外 匯集了來自阿里、騰訊、字節(jié)等知名科技公司的頂尖人才，是全球范圍內(nèi)領(lǐng)先的深度生成式算法研究團隊，擁有擴散概率模型底層創(chuàng)新研發(fā)能力。

　　生數(shù)科技致力打造世界領(lǐng)先的多模態(tài)大模型，融合文本、圖像、視頻、3D等多模態(tài)信息，探索生成式AI在藝術(shù)設(shè)計、游戲制作、影視后期、內(nèi)容社交等場景的商業(yè)賦能，通過AI提升人類的創(chuàng)造力和生產(chǎn)力。