Compass Arena大模型競(jìng)技場(chǎng)首期對(duì)戰(zhàn)榜單公布，智譜AI持續(xù)領(lǐng)跑?chē)?guó)內(nèi)大模型

　　6月13日，司南OpenCompass和魔搭ModelScope聯(lián)手推出的大語(yǔ)言模型競(jìng)技場(chǎng) Compass Arena公布首期大模型對(duì)戰(zhàn)榜單。智譜AI的GLM-4 w/search 排名僅次于GPT-4o，位列國(guó)內(nèi)大模型第一。相比 GLM-4，GLM-4 w/search 可以在交互過(guò)程中引入外部搜索引擎信息輔助內(nèi)容生成。

　　Compass Arena司南大模型競(jìng)技場(chǎng)是由司南OpenCompass團(tuán)隊(duì)和魔搭ModelScope團(tuán)隊(duì)共同推出的大語(yǔ)言模型 (LLM) 評(píng)測(cè)平臺(tái)，旨在為國(guó)內(nèi)的大語(yǔ)言模型領(lǐng)域引入一種全新的競(jìng)技模式，為廣大互聯(lián)網(wǎng)用戶提供了一個(gè)匿名、隨機(jī)的大語(yǔ)言模型競(jìng)技環(huán)境，以產(chǎn)生更加客觀和真實(shí)的評(píng)價(jià)。Compass Arena匯集了Qwen-Max、GLM-4、abab6.5以及Llama 3系列等 20 余個(gè)主流大語(yǔ)言模型，通過(guò)創(chuàng)新的競(jìng)技模式，讓用戶在直觀體驗(yàn)比較不同模型的性能后，根據(jù)自己對(duì)生成內(nèi)容質(zhì)量的主觀判斷，自由評(píng)估選擇生成效果更為出色的大模型。

　　Compass Arena大模型競(jìng)技場(chǎng)首期對(duì)戰(zhàn)榜單收集了截至6月12日接近6000條由用戶真實(shí)反饋的大模型匿名對(duì)戰(zhàn)數(shù)據(jù)，經(jīng)過(guò)數(shù)據(jù)清洗和過(guò)濾后利用Bradley-Terry模型估計(jì)了大語(yǔ)言模型的競(jìng)技場(chǎng)Elo等級(jí)分?jǐn)?shù)和95%置信區(qū)間，并使用該等級(jí)分?jǐn)?shù)對(duì)大模型進(jìn)行排名。榜單中，智譜AI的GLM-4 w/search憑借回答環(huán)節(jié)引入外部搜索引擎信息能力的輔助，有效提升了生成內(nèi)容的準(zhǔn)確性和完整性，排名僅次于GPT-4o位列第二名，成為Compass Arena大模型競(jìng)技場(chǎng)首期對(duì)戰(zhàn)榜單國(guó)內(nèi)大模型第一名。

　　值得一提的是，智譜AI的GLM-4系列模型自發(fā)布以來(lái)便收獲業(yè)內(nèi)及廣大用戶認(rèn)可，并多次在權(quán)威榜單與全球頂級(jí)大模型一較高下。清華《SuperBench大模型綜合能力評(píng)測(cè)報(bào)告》顯示，GLM-4在語(yǔ)義理解等方面的能力表現(xiàn)超過(guò)眾多國(guó)際一流模型，在代碼、智能體等方面，排名國(guó)內(nèi)第一。在SuperCLUE-Fin(SC-Fin)中文原生金融大模型測(cè)評(píng)基準(zhǔn)中，GLM-4斬獲一項(xiàng)A+及多項(xiàng)A級(jí)評(píng)價(jià)，在國(guó)內(nèi)大模型中排名第一。

　　據(jù)了解，智譜AI于今年1月推出新一代基座大模型GLM-4，并在6月初發(fā)布最新開(kāi)源模型GLM-4-9B，該模型擁有更強(qiáng)的基礎(chǔ)能力，支持更長(zhǎng)的上下文(最高支持1M/約兩百萬(wàn)字)，有更精準(zhǔn)的函數(shù)調(diào)用和All Tools能力，并在這個(gè)尺寸上首次具備了多模態(tài)能力。GLM-4-9B綜合能力相比ChatGLM3-6B提升40%，全面超過(guò)Llama-3-8B-Instruct，中文學(xué)科能力提升50%，最高支持達(dá)1百萬(wàn)tokens長(zhǎng)文本，支持多達(dá)26種語(yǔ)言，函數(shù)調(diào)用(Function Call)能力媲美GPT-4-Turbo。

　　上述模型均已在智譜AI MaaS大模型開(kāi)放平臺(tái)上線，開(kāi)發(fā)者可以通過(guò)bigmodel.cn便捷接入GLM-4全系列模型開(kāi)放API，從而體驗(yàn)智譜大模型的卓越性能。