阿里巴巴達(dá)摩院推出電商場景多模態(tài)大模型Valley 2

　　阿里巴巴達(dá)摩院近日推出了一款名為Valley2的多模態(tài)大型語言模型，該模型基于電商場景設(shè)計(jì)，旨在通過可擴(kuò)展的視覺-語言架構(gòu)，提升各領(lǐng)域性能并拓展電商與短視頻場景的應(yīng)用邊界。Valley2采用了Qwen2.5作為LLM主干，搭配SigLIP-384視覺編碼器，結(jié)合MLP層和卷積進(jìn)行高效特征轉(zhuǎn)換。其創(chuàng)新之處在于引入了大視覺詞匯、卷積適配器(ConvAdapter)和Eagle模塊，增強(qiáng)了處理多樣化真實(shí)世界輸入的靈活性及訓(xùn)練推理效率。

　　Valley2的數(shù)據(jù)由OneVision風(fēng)格數(shù)據(jù)、針對電商和短視頻領(lǐng)域的數(shù)據(jù)以及用于復(fù)雜問題解決的鏈?zhǔn)剿季S(CoT)數(shù)據(jù)組成。訓(xùn)練過程分為文本-視覺對齊、高質(zhì)量知識(shí)學(xué)習(xí)、指令微調(diào)和鏈?zhǔn)剿季S后訓(xùn)練四個(gè)階段。在實(shí)驗(yàn)中，Valley2于多個(gè)公開基準(zhǔn)測試中表現(xiàn)卓越，尤其在MMBench、MMStar、MathVista等基準(zhǔn)上得分頗高，在Ecom-VQA基準(zhǔn)測試中也超越了其他同規(guī)模模型。

　　未來，阿里巴巴達(dá)摩院計(jì)劃發(fā)布包含文本、圖像、視頻和音頻模態(tài)的全能模型，并引入基于Valley的多模態(tài)嵌入訓(xùn)練方法，以支持下游檢索和探測應(yīng)用。

　　Valley2的推出標(biāo)志著多模態(tài)大型語言模型領(lǐng)域的重要進(jìn)展，展現(xiàn)了通過結(jié)構(gòu)改進(jìn)、數(shù)據(jù)集構(gòu)建及訓(xùn)練策略優(yōu)化來提升模型性能的可能性。