馬毅團(tuán)隊(duì)新研究：微調(diào)多模態(tài)大模型會(huì)災(zāi)難性遺忘

　　隨著GPT-4的發(fā)布，多模態(tài)大模型(MLLM)成為熱點(diǎn)。業(yè)界常將視覺編碼器與語言模型集成構(gòu)建MLLM。盡管微調(diào)后的MLLM在視覺語言任務(wù)上表現(xiàn)強(qiáng)勁，但仍面臨災(zāi)難性遺忘的問題，即過擬合微調(diào)數(shù)據(jù)集后，在其他任務(wù)上的性能下降。

　　馬毅團(tuán)隊(duì)提出了EMT框架，專門評估MLLM的災(zāi)難性遺忘。流程是:

　　1)輸入圖像;

　　2)要求MLLM分類;

　　3)用另一個(gè)語言模型評估分類正確性。

　　結(jié)果顯示，測試的MLLM大多無法保持與視覺編碼器相近的分類性能。

　　研究還針對LLaVA做了微調(diào)實(shí)驗(yàn)。證實(shí)了適度微調(diào)有益，但過度微調(diào)會(huì)導(dǎo)致非微調(diào)任務(wù)遺忘。另外，微調(diào)后的MLLM會(huì)產(chǎn)生與微調(diào)數(shù)據(jù)集相關(guān)的幻覺文本，而非原始問題。

　　本研究首次系統(tǒng)評估了MLLM中的災(zāi)難性遺忘問題，為后續(xù)工作提供了框架和基準(zhǔn)。遺忘問題的產(chǎn)生也啟示我們，在追求單任務(wù)性能的同時(shí)，還需注意保持模型的泛化能力，防止過擬合。模型設(shè)計(jì)和訓(xùn)練技巧仍需進(jìn)一步優(yōu)化，以平衡不同能力之間的權(quán)衡。