MiniMax開(kāi)源了MiniMax-01全新系列模型 性能比肩GPT-4o

　　MiniMax于2025年1月15日宣布開(kāi)源其全新系列模型MiniMax-01，該系列包含基礎(chǔ)語(yǔ)言大模型MiniMax-Text-01和視覺(jué)多模態(tài)大模型MiniMax-VL-01。MiniMax-01系列在架構(gòu)上進(jìn)行了大膽創(chuàng)新，首次大規(guī)模實(shí)現(xiàn)線(xiàn)性注意力機(jī)制，打破了傳統(tǒng)Transformer架構(gòu)的局限。其參數(shù)量高達(dá)4560億，單次激活459億，綜合性能與海外頂尖模型相當(dāng)，且能高效處理長(zhǎng)達(dá)400萬(wàn)token的上下文，這一長(zhǎng)度是GPT-4o的32倍、Claude-3.5-Sonnet的20倍。

　　MiniMax認(rèn)為2025年將是Agent高速發(fā)展的關(guān)鍵年份，無(wú)論是單Agent系統(tǒng)還是多Agent系統(tǒng)，都需要更長(zhǎng)的上下文來(lái)支持持續(xù)記憶和大量通信。MiniMax-01系列模型的推出，正是為了滿(mǎn)足這一需求，邁出建立復(fù)雜Agent基礎(chǔ)能力的第一步。

　　得益于架構(gòu)創(chuàng)新、效率優(yōu)化以及集群訓(xùn)推一體設(shè)計(jì)，MiniMax能夠以業(yè)內(nèi)最低的價(jià)格區(qū)間提供文本和多模態(tài)理解的API服務(wù)，標(biāo)準(zhǔn)定價(jià)為輸入token1元/百萬(wàn)token，輸出token8元/百萬(wàn)token。MiniMax開(kāi)放平臺(tái)及海外版已上線(xiàn)，供開(kāi)發(fā)者體驗(yàn)使用。

　　MiniMax-01系列模型已在GitHub開(kāi)源，并將持續(xù)更新。在業(yè)界主流的文本和多模態(tài)理解測(cè)評(píng)中，MiniMax-01系列在多數(shù)任務(wù)上追平了海外公認(rèn)的先進(jìn)模型GPT-4o-1120和Claude-3.5-Sonnet-1022。特別是在長(zhǎng)文任務(wù)上，與Google的Gemini模型相比，MiniMax-Text-01隨著輸入長(zhǎng)度增加，性能衰減最慢，顯著優(yōu)于Gemini。

　　MiniMax的模型在處理長(zhǎng)輸入時(shí)效率極高，接近線(xiàn)性復(fù)雜度。其結(jié)構(gòu)設(shè)計(jì)中，每8層中有7層采用基于Lightning Attention的線(xiàn)性注意力，1層采用傳統(tǒng)SoftMax注意力。這是業(yè)內(nèi)首次將線(xiàn)性注意力機(jī)制擴(kuò)展到商用模型級(jí)別，MiniMax在Scaling Law、與MoE結(jié)合、結(jié)構(gòu)設(shè)計(jì)、訓(xùn)練優(yōu)化和推理優(yōu)化等方面進(jìn)行了綜合考量，并重構(gòu)了訓(xùn)練和推理系統(tǒng)，包括更高效的MoE All-to-all通訊優(yōu)化、更長(zhǎng)序列優(yōu)化以及推理層面線(xiàn)性注意力的高效Kernel實(shí)現(xiàn)。

　　在大部分學(xué)術(shù)集上，MiniMax-01系列取得了比肩海外第一梯隊(duì)的結(jié)果。在長(zhǎng)上下文測(cè)評(píng)集上更是顯著領(lǐng)先，如在400萬(wàn)的Needle-In-A-Haystack檢索任務(wù)上表現(xiàn)優(yōu)異。除了學(xué)術(shù)數(shù)據(jù)集，MiniMax還構(gòu)建了基于真實(shí)數(shù)據(jù)的助手場(chǎng)景測(cè)試集，MiniMax-Text-01在該場(chǎng)景中表現(xiàn)突出。在多模態(tài)理解測(cè)試集中，MiniMax-VL-01也較為領(lǐng)先。