最強開源多模態(tài)生成模型MM-Interleaved 支持任意穿插的圖文輸入和輸出

　　2月1日 消息:近期，一項開源項目MM-Interleaved引起了學者的廣泛關(guān)注，該模型在多模態(tài)生成大模型方面取得了新的突破。項目引入了獨創(chuàng)的特征同步器，刷新多項任務SOTA，拓展了多種圖文生成及圖像生成任務的應用領域，為多模態(tài)大模型的發(fā)展提供了新的活力。

　　MM-Interleaved模型的獨特之處在于采用了全新的多模態(tài)特征同步器，支持任意穿插的圖文輸入和輸出，可輕松編寫引人入勝的旅游日志和童話故事，支持精準理解機器人操作，生成獨特風格的精美圖片，甚至教用戶做菜，玩游戲等，成為隨時聽候指揮的個人助理。

　　模型還具備根據(jù)輸入的分割圖和對應的文本描述生成圖像的能力，并確保生成的圖像與分割圖在空間布局上保持一致，展現(xiàn)出卓越的創(chuàng)造力。

　　這一項目所體現(xiàn)的獨特貢獻在于展示了強大的多模態(tài)處理能力，且在各個具體下游任務上的表現(xiàn)優(yōu)異。其框架支持多尺度的圖像特征作為輸入，并沒有對圖像和文本的中間特征添加任何額外約束，而是直接采用預測下一個文本token或下一張圖像的自監(jiān)督訓練目標，實現(xiàn)單階段的統(tǒng)一預訓練范式，展現(xiàn)了其在應對多樣化任務時的強大通用性。

　　項目的成功標志著多模態(tài)大模型的發(fā)展朝著實現(xiàn)全面端到端的統(tǒng)一建模和訓練邁出了關(guān)鍵一步。該項目不僅在預訓練階段表現(xiàn)出色，而且在具體任務微調(diào)后依然能夠保持領先地位，為多模態(tài)大模型的廣泛應用提供了可靠的支持。

　　項目的問世不僅體現(xiàn)了其預訓練階段所展現(xiàn)的卓越性能，更在于微調(diào)后在各個具體下游任務上的全面表現(xiàn)，展現(xiàn)了MM-Interleaved框架成為一個無限創(chuàng)意的智能合作者，幫助用戶輕松打造引人入勝的圖文作品。