SuperCLUE最新評(píng)測(cè)：山海通用能力躋身國(guó)內(nèi)大模型Top10，長(zhǎng)文本能力位列全國(guó)三甲

　　4月30日，國(guó)內(nèi)權(quán)威大模型評(píng)測(cè)機(jī)構(gòu)SuperCLUE發(fā)布《中文大模型基準(zhǔn)測(cè)評(píng)2024年度4月報(bào)告》，報(bào)告選取國(guó)內(nèi)外具有代表性的32個(gè)大模型在4月份的版本，通過多維度綜合性測(cè)評(píng)，真實(shí)反映大模型通用能力。報(bào)告顯示，云知聲山海大模型在4月評(píng)測(cè)中取得總分69.51的優(yōu)異成績(jī)，躋身國(guó)內(nèi)大模型Top10;與GPT-4的對(duì)戰(zhàn)中，山海綜合勝率與和率為75.55%，超越MiniMax、訊飛星火等大模型。

　　SuperCLUE作為國(guó)內(nèi)權(quán)威通用大模型綜合性測(cè)評(píng)基準(zhǔn)，其前身可追溯至第三方中文語言理解評(píng)估基準(zhǔn)CLUE(The Chinese Language Understanding Evaluation)。自2019年成立以來，CLUE基準(zhǔn)一直致力于提供科學(xué)、客觀、中立的語言模型評(píng)測(cè)，其先后推出了CLUE、FewCLUE、KgCLUE、DataCLUE等多個(gè)被廣泛認(rèn)可的評(píng)估標(biāo)準(zhǔn)。根據(jù)CLUE多年測(cè)評(píng)經(jīng)驗(yàn)，SuperCLUE基于通用大模型在學(xué)術(shù)、產(chǎn)業(yè)與用戶側(cè)的廣泛應(yīng)用，構(gòu)建了多層次、多維度的綜合性測(cè)評(píng)基準(zhǔn)。

　　作為一個(gè)完全獨(dú)立的第三方評(píng)測(cè)機(jī)構(gòu)，SuperCLUE采用自動(dòng)化評(píng)測(cè)技術(shù)，有效消除人為因素帶來的不確定性，確保提供無偏倚的客觀評(píng)測(cè)結(jié)果。為確保與真實(shí)用戶體驗(yàn)一致，SuperCLUE納入了開放主觀問題的測(cè)評(píng)，通過多維度多視角多層次的評(píng)測(cè)體系以及對(duì)話的形式，真實(shí)模擬大模型應(yīng)用場(chǎng)景，真實(shí)有效考察模型生成能力。同時(shí)，通過構(gòu)建多輪對(duì)話場(chǎng)景，更深層次考察大模型在真實(shí)多輪對(duì)話場(chǎng)景的應(yīng)用效果，對(duì)大模型的上下文、記憶、對(duì)話能力全方位評(píng)測(cè)。

　　本次評(píng)測(cè)題目為多輪開放式簡(jiǎn)答題，評(píng)測(cè)集共2194題，涵蓋計(jì)算、邏輯推理、代碼、工具使用、知識(shí)百科、語言理解、長(zhǎng)文本、角色扮演、生成與創(chuàng)作、安全十大基礎(chǔ)任務(wù)。

　　評(píng)測(cè)數(shù)據(jù)顯示，云知聲山海大模型總分為69.51，躋身國(guó)內(nèi)大模型Top10。值得一提的，在具有產(chǎn)業(yè)落地意義的長(zhǎng)文本能力上，山海大模型取得了68.2分的優(yōu)異成績(jī)，位列全球大模型第四、國(guó)內(nèi)大模型第三。

　　此外，為真實(shí)反應(yīng)通用大模型與產(chǎn)業(yè)應(yīng)用之間的差距，引導(dǎo)大模型提升技術(shù)落地效果，在通用能力基礎(chǔ)上更好進(jìn)行垂直領(lǐng)域的應(yīng)用，SuperCLUE基于基礎(chǔ)能力和應(yīng)用能力兩個(gè)維度，構(gòu)建了大模型四個(gè)象限，分別代表潛力探索者、技術(shù)領(lǐng)跑者、實(shí)用主義者、卓越領(lǐng)導(dǎo)者，以此區(qū)分大模型所處的不同階段與定位。象限圖顯示，山海大模型被歸類為實(shí)用主義者，這意味著其在場(chǎng)景應(yīng)用上處于領(lǐng)先地位。