參數(shù)小，性能強(qiáng)！開源多模態(tài)模型—TinyGPT-V

　　安徽工程大學(xué)、南洋理工大學(xué)和理海大學(xué)的研究人員開源了多模態(tài)大模型——TinyGPT-V。

　　TinyGPT-V以微軟開源的Phi-2作為基礎(chǔ)大語言模型，同時(shí)使用了視覺模型EVA實(shí)現(xiàn)多模態(tài)能力。盡管TinyGPT-V只有28億參數(shù)，但其性能可以媲美上百億參數(shù)的模型。

　　此外，TinyGPT-V訓(xùn)練只需要24G GPU就能完成，不需要A100、H100那些高端顯卡來訓(xùn)練。

　　所以，非常適用于中小型企業(yè)和個(gè)人開發(fā)者，同時(shí)可以部署在手機(jī)、筆記本等移動(dòng)設(shè)備上。

　　開源地址:https://github.com/DLYuanGod/TinyGPT-V

　　論文地址:https://arxiv.org/abs/2312.16862

　　TinyGPT-V主要架構(gòu)

　　TinyGPT-V主要由大語言模型Phi-2、視覺編碼器和線性投影層三大塊組成。

　　開發(fā)人員選擇了微軟最新開源的Phi-2，作為TinyGPT-V的基礎(chǔ)大語言模型。Phi-2只有27億參數(shù)，但理解和推理能力非常強(qiáng)，在多項(xiàng)復(fù)雜基準(zhǔn)測(cè)試中體現(xiàn)出與大130億參數(shù)模型接近或者超過的效果。

　　視覺編碼器采用了與MiniGPT-v2相同的架構(gòu)，基于ViT的EVA模型。這是一個(gè)預(yù)訓(xùn)練好的視覺基礎(chǔ)模型，在整個(gè)TinyGPT-V的訓(xùn)練過程中保持凍結(jié)狀態(tài)。

　　線性投影層的作用則是，將視覺編碼器提取的圖像特征嵌入到大語言模型中，使大語言模型能夠理解圖像信息。

　　TinyGPT-V中的第一層線性投影層采用了來自BLIP-2的Q-Former結(jié)構(gòu)，這樣可以最大程度復(fù)用BLIP-2的預(yù)訓(xùn)練成果。

　　第二層線性投影層用新的高斯分布初始化，目的是彌補(bǔ)前一層輸出和語言模型嵌入層之間的維度差距。

　　TinyGPT-V訓(xùn)練流程

　　TinyGPT-V的訓(xùn)練經(jīng)過了四個(gè)階段，每個(gè)階段所使用的數(shù)據(jù)集及實(shí)驗(yàn)流程各不相同。

　　第一階段是熱身訓(xùn)練，目的是使Phi-2模型適應(yīng)圖像模式的輸入。這個(gè)階段使用的訓(xùn)練數(shù)據(jù)包含Conceptual Caption、SBU和LAION三個(gè)數(shù)據(jù)集，總計(jì)約500萬幅圖像和對(duì)應(yīng)的描述文本。

　　第二階段進(jìn)行預(yù)訓(xùn)練，目的是進(jìn)一步減少圖像文本對(duì)上的損失。這個(gè)階段同樣使用第一階段的Conceptual Caption、SBU和LAION數(shù)據(jù)集。實(shí)驗(yàn)設(shè)置了4個(gè)階段，每個(gè)階段有5000個(gè)迭代。

　　第三階段進(jìn)行指令調(diào)優(yōu)，使用MiniGPT-4和LLaVA的一些帶指令的圖像文本對(duì)進(jìn)行模型訓(xùn)練，如“描述這張圖片的內(nèi)容”。

　　第四階段進(jìn)行多任務(wù)調(diào)優(yōu)。這一階段使用了更為復(fù)雜和豐富的多模態(tài)數(shù)據(jù)集，如LLaVA中復(fù)雜語義對(duì)齊的句子、Flickr30K中的物體解析數(shù)據(jù)集、多任務(wù)混合語料、純文本語料等。

　　同時(shí)采用了與第二階段類似的學(xué)習(xí)率策略，最終使得損失從2.720下降到了1.399。

　　為了測(cè)試TinyGPT-V的性能，研究人員從多個(gè)角度評(píng)估了在視覺問答、視空間推理、圖片字幕生成等多個(gè)視覺語言任務(wù)上的表現(xiàn)。

　　結(jié)果顯示，TinyGPT-V的參數(shù)很小，性能卻非常強(qiáng)悍，例如，在VSR空間推理任務(wù)上，以53.2%的準(zhǔn)確率，超過所有參與測(cè)試的模型。