書生·萬象多模態(tài)大模型InternVL 2.5開源 性能媲美GPT-4o

　　近日，上海 AI 實(shí)驗(yàn)室宣布推出書生·萬象InternVL2.5模型。這款開源多模態(tài)大型語言模型以其卓越的性能，成為首個(gè)在多模態(tài)理解基準(zhǔn)(MMMU)上超過70%準(zhǔn)確率的開源模型，與商業(yè)模型如GPT-4o和Claude-3.5-Sonnet等的性能相媲美。

　　InternVL2.5模型通過鏈?zhǔn)剿伎?CoT)推理技術(shù)實(shí)現(xiàn)了3.7個(gè)百分點(diǎn)的提升，展現(xiàn)了強(qiáng)大的測(cè)試時(shí)間可擴(kuò)展性潛力。該模型基于InternVL2.0進(jìn)一步發(fā)展，通過增強(qiáng)訓(xùn)練和測(cè)試策略以及提高數(shù)據(jù)質(zhì)量來進(jìn)一步提升性能。在視覺編碼器、語言模型、數(shù)據(jù)集大小和測(cè)試時(shí)間配置等方面進(jìn)行了深入研究，以探索模型規(guī)模與性能之間的關(guān)系。

　　InternVL2.5在多項(xiàng)基準(zhǔn)測(cè)試中展現(xiàn)了競(jìng)爭(zhēng)性的性能，特別是在多學(xué)科推理、文檔理解、多圖像/視頻理解、現(xiàn)實(shí)世界理解、多模態(tài)幻覺檢測(cè)、視覺地面化、多語言能力以及純語言處理等領(lǐng)域。這一成果不僅為開放源代碼社區(qū)提供了一個(gè)新標(biāo)準(zhǔn)，用于開發(fā)和應(yīng)用多模態(tài)AI系統(tǒng)，也為人工智能領(lǐng)域的研究和應(yīng)用開辟了新的可能性。

　　InternVL2.5保留了其前身InternVL1.5和InternVL2.0的相同模型架構(gòu)，遵循“ViT-MLP-LLM”范式，并實(shí)現(xiàn)了將新的增量預(yù)訓(xùn)練的InternViT-6B或InternViT-300M與各種不同大小和類型的預(yù)先訓(xùn)練的LLMs集成在一起，使用隨機(jī)初始化的兩層MLP投影器。為了增強(qiáng)高分辨率處理的可擴(kuò)展性，研究團(tuán)隊(duì)?wèi)?yīng)用了一個(gè)像素?zé)o序操作，將視覺令牌的數(shù)量減少到原始數(shù)量的一半。

　　模型的開源性質(zhì)意味著研究人員和開發(fā)者可以自由訪問和使用InternVL2.5，這將極大地促進(jìn)多模態(tài)AI技術(shù)的發(fā)展和創(chuàng)新。