天工大模型登頂多模態(tài)榜單！解決幻覺(jué)、跨語(yǔ)言兩大難題

　　本文來(lái)自于微信公眾號(hào) 量子位 (ID:QbitAI)，作者:豐色。

　　國(guó)產(chǎn)大模型，登頂多模態(tài)榜單!

　　昆侖萬(wàn)維最近在大模型圈可謂“風(fēng)生水起”。

　　幾天前剛被曝挖來(lái)了AI大牛顏水成，出任天工智能聯(lián)席CEO。

　　現(xiàn)在，其「天工」大模型Skywork-MM又登頂多模態(tài)榜單，在騰訊優(yōu)圖實(shí)驗(yàn)室聯(lián)合廈門(mén)大學(xué)開(kāi)展的多模態(tài)大語(yǔ)言模型(Multimodal Large Language Model，簡(jiǎn)稱“MLLM”)測(cè)評(píng)中，綜合得分排名第一。

　　騰訊優(yōu)圖實(shí)驗(yàn)室聯(lián)合廈門(mén)大學(xué)在新建的評(píng)測(cè)基準(zhǔn)MME上首次對(duì)全球范圍內(nèi)MLLM模型進(jìn)行了全面定量評(píng)測(cè)并公布了16個(gè)排行榜，包含感知、認(rèn)知兩個(gè)總榜單以及14個(gè)子榜單。

　　MME數(shù)據(jù)集是一個(gè)最近發(fā)布的多模態(tài)語(yǔ)言模型測(cè)評(píng)基準(zhǔn)。

　　它通過(guò)大型多模態(tài)語(yǔ)言模型在涵蓋感知和認(rèn)知任務(wù)的14個(gè)子任務(wù)上的表現(xiàn)來(lái)全面評(píng)估模型。

　　而Skywork-MM只用了不到50M的圖文數(shù)據(jù)——遠(yuǎn)小于其他大模型(>100M)，拿下了第一(榜單地址見(jiàn)文末)。

　　如何做到?

　　主要是解決了現(xiàn)有多模態(tài)大模型中頗為困擾的兩大問(wèn)題:

　　幻覺(jué)和較弱的跨語(yǔ)言能力。 多模態(tài)兩大難

　　所謂幻覺(jué)，是指多模態(tài)大模型在回答問(wèn)題時(shí)，傾向于肯定的答案，即使我們所給的問(wèn)題中根本沒(méi)有相關(guān)特征。

　　例如面對(duì)下面這張圖像。

　　如果問(wèn)它“這個(gè)男人的頭發(fā)是什么顏色?”，即使優(yōu)秀如LLaVA、MiniGPT-4等多模態(tài)大模型，也會(huì)“睜著眼說(shuō)瞎話”:黑色。

　　再如這張圖片:一個(gè)玻璃杯、一個(gè)茶杯、一個(gè)浴缸里面有條小金魚(yú)。

　　如果問(wèn)它“圖片中的所有物品都是黃色的嗎?”，沒(méi)有誰(shuí)能答對(duì)。

　　至于跨語(yǔ)言能力問(wèn)題，主要表現(xiàn)在應(yīng)對(duì)中文場(chǎng)景中的問(wèn)題回答不盡如人意。

　　比如辨認(rèn)下面這張圖片是“科羅拉多大峽谷還是蘇州園林”時(shí)，3個(gè)雙語(yǔ)多模態(tài)語(yǔ)言模型:LLaVA、 LLaVA-Chinese、ImageBind-LLm全部回答成前者。

　　問(wèn)它們從哪里能觀賞到該景色，就更是一言難盡了。

　　甚至有時(shí)，模型還會(huì)直接回復(fù)純英文。

　　這兩大問(wèn)題嚴(yán)重影響著現(xiàn)有多模態(tài)大模型的性能。

　　怎么解決? 三方面入手

　　昆侖萬(wàn)維天工大模型Skywork-MM從分別從數(shù)據(jù)、模型和訓(xùn)練流程三方面入手。

　　其中重點(diǎn)是數(shù)據(jù)和模型。

　　先看數(shù)據(jù)。

　　首先對(duì)于幻覺(jué)問(wèn)題。

　　從本質(zhì)出發(fā)，該問(wèn)題主要是整個(gè)模型訓(xùn)練過(guò)程中使用的數(shù)據(jù)太偏重正樣本。

　　也就是說(shuō)，模型描述的都是圖片中有什么，而沒(méi)有學(xué)習(xí)圖片中沒(méi)有什么。

　　如果訓(xùn)練過(guò)程中再碰上弱相關(guān)的圖文數(shù)據(jù)，模型就更加放飛聯(lián)想、形成較嚴(yán)重的幻覺(jué)。

　　為此，天工大模型多模態(tài)團(tuán)隊(duì)提出以圖像為中心，喂給模型既包含正樣本也包含負(fù)樣本的多模態(tài)指令微調(diào)數(shù)據(jù):

　　這使得模型既能夠?qū)W習(xí)一張圖像中存在的視覺(jué)特征，也能學(xué)習(xí)到不存在的特征。

　　這樣，模型的指令跟隨能力便得到增強(qiáng):問(wèn)什么答什么，沒(méi)有的也不胡編。

　　其次，對(duì)于跨語(yǔ)言中的中文問(wèn)題，一共有兩個(gè)解決思路:

　　(1)增強(qiáng)中文的指令追隨能力。

　　由于“微調(diào)指令的文化gap很小”，只需將上面解決幻覺(jué)問(wèn)題中構(gòu)造的英文指令微調(diào)數(shù)據(jù)翻譯成中文使用。

　　(2)增強(qiáng)中文相關(guān)場(chǎng)景的識(shí)別能力。

　　需要注意的是，在解決跨語(yǔ)言問(wèn)題時(shí)，我們重點(diǎn)關(guān)注的點(diǎn)是文化偏差——

　　即通用的視覺(jué)特征和語(yǔ)言特征可以通過(guò)共有的語(yǔ)料進(jìn)行關(guān)聯(lián)，但是各個(gè)語(yǔ)言文化中專有的視覺(jué)特征和語(yǔ)言特征的關(guān)聯(lián)需要大量特殊學(xué)習(xí)。

　　因此我們需要加入大規(guī)模的中文圖像-文本對(duì)數(shù)據(jù)。

　　不過(guò)，這樣的中文語(yǔ)料并不好收集，一是囿于數(shù)據(jù)質(zhì)量，而是困于數(shù)量。

　　怎么辦?

　　引出Skywork-MM在模型架構(gòu)上的改進(jìn)。

　　為了不讓低質(zhì)量的圖文數(shù)據(jù)影響模型效果，天工大模型多模態(tài)團(tuán)隊(duì)在設(shè)計(jì)上選擇將視覺(jué)模型和大語(yǔ)言模型完全凍結(jié)。

　　這樣做的目的是保持視覺(jué)模型在前置CLIP訓(xùn)練中學(xué)習(xí)到的視覺(jué)特征不損失，以及大語(yǔ)言模型的語(yǔ)言能力不損失。

　　同時(shí)，為了更好的關(guān)聯(lián)不同文化環(huán)境中的視覺(jué)特征和語(yǔ)言特征，模型整體包含了一個(gè)可學(xué)習(xí)的視覺(jué)特征采樣器和語(yǔ)言模型的LoRA適配器。

　　如下圖所示，Skywork-MM一共包含四大模塊:

　　給定一張圖像，LVM先提取圖像特征，然后將圖像特征輸入到重采樣器中，計(jì)算出可為L(zhǎng)LM輸入的token。

　　LLM接收token和指令提示(如果有)，然后輸出圖像描述或?qū)��?wèn)題的回答。

　　至于訓(xùn)練流程，主要分為兩階段:

　　第一階段使用雙語(yǔ)的大規(guī)模圖文對(duì)數(shù)據(jù)進(jìn)行圖像概念和語(yǔ)言概念的關(guān)聯(lián)學(xué)習(xí)。

　　第二階段使用多模態(tài)微調(diào)數(shù)據(jù)進(jìn)行指令微調(diào)。

　　此時(shí)，各種類(lèi)型的指令微調(diào)數(shù)據(jù)(包括正樣本和負(fù)樣本)就組成統(tǒng)一的Chat Prompt形式。

　　Ps. 上圖中的重采樣器和LoRA適配器標(biāo)記了火焰，它們是可訓(xùn)練的。 登頂MME綜合榜單

　　如下表所示，Skywork-MM一共用了大約50M圖文數(shù)據(jù)，這比當(dāng)前的同類(lèi)大模型都要少得多。

　　但經(jīng)過(guò)以上數(shù)據(jù)、模型和訓(xùn)練流程三方面的改進(jìn)，Skywork-MM效果拔群。

　　如下圖所示:

　　它能夠準(zhǔn)確理解圖片中的反常行為;

　　也能聽(tīng)明白一些特殊的指令(根據(jù)選項(xiàng)回答問(wèn)題，根據(jù)風(fēng)景寫(xiě)詩(shī)，寫(xiě)廣告詞，寫(xiě)獲獎(jiǎng)感言等等);

　　對(duì)于中文場(chǎng)景問(wèn)題，表現(xiàn)得也不再像個(gè)“歪果仁”了。

　　可謂擁有了良好的指令跟隨和中文場(chǎng)景問(wèn)答能力。

　　因此像第一段展示的那些幻覺(jué)和跨語(yǔ)言問(wèn)題，它完全可以信手拈來(lái):

　　孟非沒(méi)有頭發(fā)就沒(méi)有，不會(huì)說(shuō)成黑色;蘇州園林、非誠(chéng)勿擾節(jié)目一眼認(rèn)出;三個(gè)物體沒(méi)有一個(gè)是黃色。

　　而如開(kāi)頭所示，在與其他模型的橫向測(cè)試中，Skywork-MM直接榮登MME榜單綜合第一，包括感知榜單第一(且與第二名有著43分的差距)、認(rèn)知榜單第二。

　　這個(gè)榜單大約今年6月上線、目前GitHub4k標(biāo)星，是當(dāng)前多模態(tài)大模型最新的測(cè)評(píng)基準(zhǔn)之一。

　　它一共包含14個(gè)子任務(wù)，其中感知任務(wù)除OCR，還包括粗粒度和細(xì)粒度對(duì)象識(shí)別，前者識(shí)別對(duì)象的存在與否、數(shù)量、位置和顏色;后者識(shí)別電影海報(bào)、名人、場(chǎng)景、地標(biāo)和藝術(shù)品。

　　認(rèn)知任務(wù)則包括常識(shí)推理、數(shù)值計(jì)算、文本翻譯和代碼推理。

　　下表顯示Skywork-MM在該榜單感知任務(wù)中的OCR+粗粒度識(shí)別上的具體得分:

　　細(xì)粒度識(shí)別得分:

　　以及認(rèn)知任務(wù)得分:

　　可以看到，能與Skywork-MM偶爾“平分秋色”的只有MiniGPT-4和BLIP系列。

　　而除了MME榜單，Skywork-MM還在另一多模態(tài)基準(zhǔn)MMBench的開(kāi)發(fā)集上表現(xiàn)出色:

　　進(jìn)步空間

　　需要注意的是，盡管昆侖萬(wàn)維天工大模型這一最新成果，代表了當(dāng)前多模態(tài)大模型的最高水平，但它還是存在很多進(jìn)步空間。

　　例如:

　　文化和語(yǔ)言障礙仍然存在，還需要我們開(kāi)發(fā)一種多語(yǔ)言的LVM，更有效地提取不同文化特有的視覺(jué)特征，或者再收集更多各語(yǔ)言的大規(guī)模、高質(zhì)量圖像文本對(duì)，確保模型準(zhǔn)確掌握視覺(jué)概念和文本概念的關(guān)聯(lián)。

　　除此之外，目前的成果只建立在較小規(guī)模的基礎(chǔ)之上(13B)，如果研究更大的多模態(tài)模型，我們?cè)谑褂脭?shù)據(jù)、參數(shù)設(shè)置、訓(xùn)練策略等方面可能都需要進(jìn)一步探索。

　　評(píng)估基準(zhǔn)也還可以更全面，目前MME和MMBench的測(cè)試范圍都有限。

　　以及從上面的粗粒度感知識(shí)別任務(wù)榜單來(lái)看，現(xiàn)有所有多模態(tài)大模型對(duì)于根據(jù)圖片準(zhǔn)確識(shí)別物體位置的能力(對(duì)實(shí)現(xiàn)機(jī)器人感知意義重大)都比較欠缺:

　　最高的模型得分才33.33，離滿分100還有很大的差距。

　　這個(gè)缺陷從下圖也可以看出:

　　毫無(wú)疑問(wèn)的是，人工智能的未來(lái)一定是多模態(tài)的。

　　以上這些問(wèn)題說(shuō)明，我們才剛剛開(kāi)始探索它真正的潛力。

　　然而，我們相信，在一次又一次的榜單排名更迭之中，屬于多模態(tài)大模型的“ChatGPT時(shí)刻”終將會(huì)到來(lái)。