安徽工程大學(xué)、南洋理工大學(xué)和理海大學(xué)的研究人員開源了多模態(tài)大模型——TinyGPT-V。
TinyGPT-V以微軟開源的Phi-2作為基礎(chǔ)大語(yǔ)言模型,同時(shí)使用了視覺(jué)模型EVA實(shí)現(xiàn)多模態(tài)能力。盡管TinyGPT-V只有28億參數(shù),但其性能可以媲美上百億參數(shù)的模型。
此外,TinyGPT-V訓(xùn)練只需要24G GPU就能完成,不需要A100、H100那些高端顯卡來(lái)訓(xùn)練。
所以,非常適用于中小型企業(yè)和個(gè)人開發(fā)者,同時(shí)可以部署在手機(jī)、筆記本等移動(dòng)設(shè)備上。
開源地址:https://github.com/DLYuanGod/TinyGPT-V
論文地址:https://arxiv.org/abs/2312.16862
TinyGPT-V主要架構(gòu)
TinyGPT-V主要由大語(yǔ)言模型Phi-2、視覺(jué)編碼器和線性投影層三大塊組成。
開發(fā)人員選擇了微軟最新開源的Phi-2,作為TinyGPT-V的基礎(chǔ)大語(yǔ)言模型。Phi-2只有27億參數(shù),但理解和推理能力非常強(qiáng),在多項(xiàng)復(fù)雜基準(zhǔn)測(cè)試中體現(xiàn)出與大130億參數(shù)模型接近或者超過(guò)的效果。
視覺(jué)編碼器采用了與MiniGPT-v2相同的架構(gòu),基于ViT的EVA模型。這是一個(gè)預(yù)訓(xùn)練好的視覺(jué)基礎(chǔ)模型,在整個(gè)TinyGPT-V的訓(xùn)練過(guò)程中保持凍結(jié)狀態(tài)。
線性投影層的作用則是,將視覺(jué)編碼器提取的圖像特征嵌入到大語(yǔ)言模型中,使大語(yǔ)言模型能夠理解圖像信息。
TinyGPT-V中的第一層線性投影層采用了來(lái)自BLIP-2的Q-Former結(jié)構(gòu),這樣可以最大程度復(fù)用BLIP-2的預(yù)訓(xùn)練成果。
第二層線性投影層用新的高斯分布初始化,目的是彌補(bǔ)前一層輸出和語(yǔ)言模型嵌入層之間的維度差距。
TinyGPT-V訓(xùn)練流程
TinyGPT-V的訓(xùn)練經(jīng)過(guò)了四個(gè)階段,每個(gè)階段所使用的數(shù)據(jù)集及實(shí)驗(yàn)流程各不相同。
第一階段是熱身訓(xùn)練,目的是使Phi-2模型適應(yīng)圖像模式的輸入。這個(gè)階段使用的訓(xùn)練數(shù)據(jù)包含Conceptual Caption、SBU和LAION三個(gè)數(shù)據(jù)集,總計(jì)約500萬(wàn)幅圖像和對(duì)應(yīng)的描述文本。
第二階段進(jìn)行預(yù)訓(xùn)練,目的是進(jìn)一步減少圖像文本對(duì)上的損失。這個(gè)階段同樣使用第一階段的Conceptual Caption、SBU和LAION數(shù)據(jù)集。實(shí)驗(yàn)設(shè)置了4個(gè)階段,每個(gè)階段有5000個(gè)迭代。
第三階段進(jìn)行指令調(diào)優(yōu),使用MiniGPT-4和LLaVA的一些帶指令的圖像文本對(duì)進(jìn)行模型訓(xùn)練,如“描述這張圖片的內(nèi)容”。
第四階段進(jìn)行多任務(wù)調(diào)優(yōu)。這一階段使用了更為復(fù)雜和豐富的多模態(tài)數(shù)據(jù)集,如LLaVA中復(fù)雜語(yǔ)義對(duì)齊的句子、Flickr30K中的物體解析數(shù)據(jù)集、多任務(wù)混合語(yǔ)料、純文本語(yǔ)料等。
同時(shí)采用了與第二階段類似的學(xué)習(xí)率策略,最終使得損失從2.720下降到了1.399。
為了測(cè)試TinyGPT-V的性能,研究人員從多個(gè)角度評(píng)估了在視覺(jué)問(wèn)答、視空間推理、圖片字幕生成等多個(gè)視覺(jué)語(yǔ)言任務(wù)上的表現(xiàn)。
結(jié)果顯示,TinyGPT-V的參數(shù)很小,性能卻非常強(qiáng)悍,例如,在VSR空間推理任務(wù)上,以53.2%的準(zhǔn)確率,超過(guò)所有參與測(cè)試的模型。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請(qǐng)謹(jǐn)慎對(duì)待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。
近日,德國(guó)柏林國(guó)際電子消費(fèi)品展覽會(huì)(IFA2024)隆重舉辦。憑借在核心技術(shù)、產(chǎn)品設(shè)計(jì)及應(yīng)用方面的創(chuàng)新變革,全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)成功斬獲兩項(xiàng)“IFA全球產(chǎn)品設(shè)計(jì)創(chuàng)新大獎(jiǎng)”金獎(jiǎng),有力證明了其在全球市場(chǎng)的強(qiáng)大影響力。
近日,中國(guó)家電及消費(fèi)電子博覽會(huì)(AWE 2024)隆重開幕。全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)攜多款創(chuàng)新技術(shù)和新品亮相,以敢為精神勇闖技術(shù)無(wú)人區(qū),斬獲四項(xiàng)AWE 2024艾普蘭大獎(jiǎng)。
“以前都要去窗口辦,一套流程下來(lái)都要半個(gè)月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
由世界人工智能大會(huì)組委會(huì)、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會(huì)共同指導(dǎo),由上海市人工智能行業(yè)協(xié)會(huì)聯(lián)合上海人工智能實(shí)驗(yàn)室、上海臨港經(jīng)濟(jì)發(fā)展(集團(tuán))有限公司、開放原子開源基金會(huì)主辦的“2024全球開發(fā)者先鋒大會(huì)”,將于2024年3月23日至24日舉辦。