突破性技術(shù)！開源多模態(tài)模型—MiniGPT-5

　　多模態(tài)生成一直是OpenAI、微軟、百度等科技巨頭的重要研究領(lǐng)域，但如何實(shí)現(xiàn)連貫的文本和相關(guān)圖像是一個(gè)棘手的難題。

　　為了突破技術(shù)瓶頸，加州大學(xué)圣克魯斯分校研發(fā)了MiniGPT-5模型，并提出了全新技術(shù)概念“Generative Vokens "，成為文本特征空間和圖像特征空間之間的“橋梁”,實(shí)現(xiàn)了普通訓(xùn)練數(shù)據(jù)的有效對齊,同時(shí)生成高質(zhì)量的文本和圖像。

　　為了評估MiniGPT-5的效果,研究人員在多個(gè)數(shù)據(jù)集上進(jìn)行了測試,包括CC3M、VIST和MMDialog。結(jié)果顯示,MiniGPT-5在多個(gè)指標(biāo)上都優(yōu)于多個(gè)對比基線,能夠生成連貫、高質(zhì)量的文本和圖像。

　　例如，在VIST數(shù)據(jù)集上,MiniGPT-5生成的圖像CLIP分?jǐn)?shù)高于fine-tunedStable Diffusion 2; 在人類評估中,MiniGPT-5生成的語言連貫性更好(57.18%),圖像質(zhì)量更高(52.06%),多模態(tài)連貫性更強(qiáng)(57.62%)。

　　在MMDialog數(shù)據(jù)集上,MiniGPT-5的MM相關(guān)性指標(biāo)達(dá)到0.67,超過基準(zhǔn)模型Divter的0.62。這充分證明MiniGPT-5在不同數(shù)據(jù)模式下的強(qiáng)大適應(yīng)能力。

　　開源地址：https://github.com/eric-ai-lab/MiniGPT-5

　　論文地址：https://arxiv.org/abs/2310.02239

　　MiniGPT-5模型主要有3大創(chuàng)新點(diǎn)：1)利用多模態(tài)編碼器提取文本和圖像特征,代表了一種全新的文本與圖像對齊技術(shù),效果優(yōu)于直接利用大語言模型生成視覺token的方法。

　　2)提出了無需完整圖像描述的雙階段訓(xùn)練策略：第一階段，專注文本與圖像的簡單對齊;第二階段，進(jìn)行多模態(tài)細(xì)粒度特征學(xué)習(xí)。

　　3)在訓(xùn)練中引入了“無分類器指導(dǎo)”技術(shù),可有效提升多模態(tài)生成的內(nèi)容質(zhì)量。主要模塊架構(gòu)如下。

　　Generative Vokens

　　MiniGPT-5的核心創(chuàng)新就是提出了“Generative Vokens”技術(shù)概念，實(shí)現(xiàn)了大語言模型與圖像生成模型的無縫對接。

　　具體來說,研究人員向模型的詞表中加入了8個(gè)特殊的Voken詞元[IMG1]-[IMG8]。這些Voken在模型訓(xùn)練時(shí)作為圖像的占位符使用。

　　在輸入端,圖像特征會與Voken的詞向量拼接,組成序列輸入。在輸出端,模型會預(yù)測這些Voken的位置,對應(yīng)的隱狀態(tài)h_voken用于表示圖像內(nèi)容。

　　然后,h_voken通過一個(gè)特征映射模塊,轉(zhuǎn)換為與Stable Diffusion文本編碼器輸出對齊的圖像條件特征ˆh_voken。

　　在Stable Diffusion中,ˆh_voken作為指導(dǎo)圖像生成的條件輸入。整個(gè)pipeline實(shí)現(xiàn)了從圖像到語言模型再到圖像生成的對接。

　　這種通過Voken實(shí)現(xiàn)對齊的方式,比逆向計(jì)算要直接,也比利用圖像描述更為通用。簡單來說，Generative Vokens就像是一座“橋梁”,使不同模型域之間信息傳遞更順暢。

　　雙階段訓(xùn)練策略

　　考慮到文本和圖像特征空間存在一定的域差異,MiniGPT-5采用了兩階段的訓(xùn)練策略。

　　第一階段是單模態(tài)對齊階段：只使用單個(gè)圖像-文本對的數(shù)據(jù),如CC3M。模型學(xué)習(xí)從圖像標(biāo)題生成對應(yīng)的Voken。同時(shí),加入輔助的圖像標(biāo)題損失,幫助Voken與圖像內(nèi)容對齊。

　　第二階段是多模態(tài)學(xué)習(xí)階段：使用包含連續(xù)多模態(tài)樣本的數(shù)據(jù),如VIST,進(jìn)行微調(diào)。設(shè)置不同的訓(xùn)練任務(wù),包括生成文本、生成圖像和同時(shí)生成兩者。增強(qiáng)了模型處理多模態(tài)信息的能力。

　　這種分階段策略,可以緩解直接在有限數(shù)據(jù)上訓(xùn)練帶來的問題。先進(jìn)行粗粒度對齊,再微調(diào)細(xì)粒度特征，并提升了模型的表達(dá)能力和魯棒性。

　　無分類器指導(dǎo)

　　為進(jìn)一步提升生成文本和圖像的連貫性,MiniGPT-5還采用了“無分類器指導(dǎo)”的技術(shù)。

　　其核心思想是,在圖像擴(kuò)散過程中,以一定概率用零特征替換條件Voken,實(shí)現(xiàn)無條件生成。

　　在推理時(shí),將有條件和無條件的結(jié)果作為正負(fù)樣本,模型可以更好地利用兩者的對比關(guān)系,產(chǎn)生連貫的多模態(tài)輸出。這種方法簡單高效,不需要引入額外的分類器,通過數(shù)據(jù)對比自然指導(dǎo)模型學(xué)習(xí)。

　　文本到圖像生成模型

　　MiniGPT-5使用了Stable Diffusion 2.1和多模態(tài)模型MiniGPT-4作為文本到圖像生成模型�？梢愿鶕�(jù)文本描述生成高質(zhì)量、高分辨率的圖片。

　　Stable Diffusion使用Diffusion模型和U-Net作為主要組件。Diffusion模型可以將圖片表示成噪聲數(shù)據(jù),然后逐步進(jìn)行去噪和重構(gòu)。

　　U-Net則利用文本特征作為條件,指導(dǎo)去噪過程生成對應(yīng)的圖片。相比GAN,Diffusion模型更穩(wěn)定,生成效果也更清晰逼真。

　　為了準(zhǔn)確地將生成標(biāo)記與生成模型對齊，研究人員制定了一個(gè)用于維度匹配的緊湊映射模塊，并結(jié)合了一些監(jiān)督損失，包括文本空間損失和潛在擴(kuò)散模型損失。

　　文本空間損失幫助模型學(xué)習(xí)標(biāo)記的正確位置，而潛在擴(kuò)散損失直接將標(biāo)記與適當(dāng)?shù)囊曈X特征對齊。由于生成Vokens的特征直接由圖像引導(dǎo)，因此，不需要圖像的全面描述就能實(shí)現(xiàn)無描述學(xué)習(xí)。

　　研究人員表示,MiniGPT-5的最大貢獻(xiàn)在于實(shí)現(xiàn)了文本生成和圖像生成的有效集成。只需要普通的文本、圖像進(jìn)行預(yù)訓(xùn)練,就可以進(jìn)行連貫的多模態(tài)生成,而無需復(fù)雜的圖像描述。這為多模態(tài)任務(wù)提供了統(tǒng)一的高效解決方案。