“百模大戰(zhàn)”家家第一，大模型“跑分”作弊何時(shí)休？

　　本文來自于微信公眾號 羅超Pro(luochaotmt)。

　　今天在朋友圈看到一張圖:國內(nèi)的“百模大戰(zhàn)”已升級成“兩百模大戰(zhàn)”，據(jù)不完全統(tǒng)計(jì)，今年1-7月國內(nèi)共發(fā)布了64個(gè)大模型，截至目前叫得出名字的國產(chǎn)大模型已接近200家。這么多大模型，哪些是真能打的?在每天冒出來的各類“榜單”上出現(xiàn)了“家家第一”的情況，甚至已不止一款國產(chǎn)大模型“碾壓”了GPT-4，且很多“世界頂級”大模型是出自剛成立的團(tuán)隊(duì)之手。

　　然而國產(chǎn)大模型在國外的境遇，卻是冰火兩重天。前段時(shí)間《時(shí)代周刊》公布2023年AI領(lǐng)域最有影響力100人，中國面孔十分罕見，有媒體評論“百模大戰(zhàn)打了個(gè)寂寞”;日前，開源AI社區(qū)代表Hugging Face發(fā)布最受歡迎開源大模型機(jī)構(gòu)TOP15榜單，在大名鼎鼎的Stability AI、Meta AI、Runway、OpenAI、谷歌、微軟等海外機(jī)構(gòu)外，只有一家機(jī)構(gòu)來自中國:KEG實(shí)驗(yàn)室(全稱為清華大學(xué)知識工程實(shí)驗(yàn)室，成立于1996年)，其憑借今年開源的模型ChatGLM-6B上榜。

　　這種反�，F(xiàn)象的背后，是大模型行業(yè)日益嚴(yán)重的“跑分亂象”。在讓人眼花繚亂的大模型榜單上，似乎每一個(gè)大模型都曾拿過第一，都可分分鐘碾壓GPT-4。這不禁讓人懷疑，國產(chǎn)大模型技術(shù)真的這么強(qiáng)?大模型技術(shù)門檻真的這么低?

　　大模型榜單，家家第一?

　　如果搜索“大模型，超越GPT-4”可以發(fā)現(xiàn)，多家國產(chǎn)大模型號稱在多個(gè)維度已超越OpenAI旗下的GPT-4，且有模有樣地曬出對應(yīng)的大模型評測榜單“跑分”，比如某大模型宣稱“基模型12項(xiàng)性能超越GPT-4”。相對來說，源自頂尖學(xué)術(shù)機(jī)構(gòu)的大模型對自己的水平更嚴(yán)謹(jǐn)一些，它們往往不會過度強(qiáng)調(diào)排名數(shù)據(jù)，而科技巨頭雖然會有一些“包裝”但也不會太離譜，頂多只會宣稱“明年挑戰(zhàn)GPT-4”“已達(dá)到GPT3.5的水平”。

　　大模型“家家都是第一”的亂象，跟雙11結(jié)束后的品牌戰(zhàn)報(bào)有些相似。每個(gè)品牌都能定制一個(gè)讓自己看上去“最厲害”的雙11榜單，GMV不行可以說銷量，兩者都不行可加前綴限定到細(xì)分品類如“XX元內(nèi)XX吋采取XX屏幕的電視之第一”，實(shí)在不行還能說自身同比增速行業(yè)第一。

　　大模型是純技術(shù)產(chǎn)品，衡量其水準(zhǔn)理論上要用專業(yè)技術(shù)評測體系，“讓專業(yè)的歸專業(yè)”，當(dāng)前，在PK技術(shù)參數(shù)這件事上，大模型榜單存在不少問題。

　　前些年行業(yè)流行“參數(shù)規(guī)模越大，大模型卻強(qiáng)大”，大模型狂卷參數(shù)，最高已過千億。今天大模型不能再單拼參數(shù)了，因?yàn)樾袠I(yè)都知道，參數(shù)大的大模型不一定真強(qiáng)大。大模型要證明實(shí)力，離不開“跑分”，就是去跑一些機(jī)構(gòu)的大模型評測體系的測試數(shù)據(jù)集來“拿分”再排名。

　　當(dāng)下，市面上的評測工具(系統(tǒng))不下50個(gè)，既有來自專業(yè)學(xué)術(shù)機(jī)構(gòu)的，也有來自市場運(yùn)作組織的，還有一些媒體也推出了對應(yīng)的大模型榜單。

　　在不同大模型“跑分”榜單中，同一個(gè)大模型的表現(xiàn)可能相差甚大，比如前段時(shí)間被質(zhì)疑“基于開源大模型偽原創(chuàng)”的某大模型宣稱超越GPT-4“勇奪全球開源評測雙料冠軍”，在其公布自身第一的榜單上，百度文心一言連TOP20都無法進(jìn)入，但在8月15日某權(quán)威媒體研究機(jī)構(gòu)發(fā)布的《人工智能大模型體驗(yàn)報(bào)告2.0》，百度文心一言又能排第二，第一是訊飛星火大模型;在8月28日，SuperCLUE發(fā)布的中文大模型8月榜單，GPT-4排名第一，百川智能的Baichuan-13B-Chat排在中文榜單首位;在9月的開源評測榜單C-Eval最新一期排行榜中，云天勵飛大模型“云天書”排在第一，GPT-4名列第十。

　　不同大模型的“智力”表現(xiàn)，在不同榜單相差巨大，明眼人一看就知道其中暗藏玄機(jī)。

　　更離奇的是，就算在同一榜單中，也經(jīng)常出現(xiàn)多個(gè)大模型共同認(rèn)領(lǐng)第一的情況。比如某手機(jī)廠商宣布，其“自研大模型在C-Eval全球中文榜單中排名第一。此前其自研大模型已取得C-Eval百億內(nèi)大模型榜單第一，CMMLU全球中文榜單第一以及其百億內(nèi)大模型榜單第一的好成績。”同一時(shí)間，某互聯(lián)網(wǎng)巨頭旗下的創(chuàng)新業(yè)務(wù)宣稱其“千億級參數(shù)的大模型登頂C-Eval和CMMLU兩大權(quán)威評測榜單，多項(xiàng)性能優(yōu)于GPT-4。”看到這里很多人肯定會有疑問:為什么在C-Eval和CMMLU這兩大“權(quán)威評測榜單”中，均會同時(shí)出現(xiàn)兩個(gè)第一?——如果繼續(xù)搜索恐怕還能找到更多認(rèn)領(lǐng)第一的情況。

　　只要前綴用得好，家家都是大模型王者，國產(chǎn)大模型秒殺GPT-4、碾壓人類智商都不是事兒。

　　問題在于，當(dāng)家家都宣稱自己是大模型“王者”后，這樣的“金牌”含金量到底有多少?我們不由要問:大模型評測體系到底出了什么問題?

　　大模型評測體系，問題在哪?

　　百模大戰(zhàn)如火如荼。不同大模型都有著分出個(gè)高低的強(qiáng)烈需求，在這樣的背景下，市面上快速出現(xiàn)了大量的大模型排行榜，它們可被分為三類:一類是大學(xué)等機(jī)構(gòu)主導(dǎo)的學(xué)術(shù)類榜單，一類是第三方公司運(yùn)作的市場類榜單，還有一類是媒體等非技術(shù)機(jī)構(gòu)推出的評測榜單。

　　用手機(jī)行業(yè)來類比，第一類、第二類就像是安兔兔、dxomark這樣的跑分平臺，芯片、相機(jī)好不好用技術(shù)評測數(shù)據(jù)說話;第三類更像是評測體驗(yàn)博主，他們站在用戶角度去設(shè)計(jì)榜單。真正能夠衡量大模型技術(shù)實(shí)力的是第一類、第二類“跑分”榜單。

　　不論是學(xué)術(shù)界還是產(chǎn)業(yè)界的大模型榜單，當(dāng)前的“跑分”原理都是一致的:設(shè)計(jì)一套評測數(shù)據(jù)集去讓大模型給出答案，再閱卷打分，本質(zhì)就是讓大模型“做題”拿分。大模型本質(zhì)是機(jī)器學(xué)習(xí)技術(shù)，其目的是提升機(jī)器的智能程度以為人類所用，因此用衡量人的能力的手段即“考試做題”來評估大模型的水準(zhǔn)，本身不存在什么問題。

　　然而，大模型大規(guī)模爆發(fā)才不到一年時(shí)間，當(dāng)前的大模型跑分評測體系才剛發(fā)展出來，整體很不成熟，這導(dǎo)致了一些大模型玩家投機(jī)取巧，靠“刷分”奪冠。

　　大模型評測基礎(chǔ)體系并不復(fù)雜。用最權(quán)威的考試體系高考來對標(biāo)的話:評測數(shù)據(jù)集相當(dāng)于“題庫”;評測工具與過程則對應(yīng)到高考考試工具與過程，比如筆試用的試卷，英語聽力用的廣播;打分體系相當(dāng)于高考的閱卷體系，比如語文作文會有多名老師閱卷再算平均分，以確保公平。

　　這樣看的話，當(dāng)前的大模型跑分評測體系問題有三:

　　第一、開源評測數(shù)據(jù)集題目全公開，“刷題”最流行。很多大模型評測榜單的數(shù)據(jù)集是公開的，針對此出現(xiàn)了普遍的“刷題”現(xiàn)象，有的公司會雇傭人類“數(shù)據(jù)標(biāo)注員”來做題將答案給到大模型，還有的公司會讓GPT-4來答題再將答案用來訓(xùn)練自家大模型，大模型做題就可以“滿分”了。許多大模型剛推出就可以拿滿分“排第一”碾壓GPT-4，玄妙正在于這里。

　　開源評測數(shù)據(jù)集相當(dāng)于高考搞“開卷考試”一樣，除非是特別開放的問題(如職場面試)，否則被試者完全可以提前針對性地刷題背答案，最終得分自然完全無法反映出其真實(shí)水平。

　　第二，評測數(shù)據(jù)不開源、全過程封閉評測，引發(fā)了公平性問題。既然將評測數(shù)據(jù)集開源會引發(fā)“刷題”，為什么評測機(jī)構(gòu)要開源呢?答案在于:評測的公平性。如果機(jī)構(gòu)在評測時(shí)用什么問題以及對應(yīng)什么答案是什么一直不公開，如果機(jī)構(gòu)的評測邏輯與工具、評分方法與過程是封閉的“黑盒子”，得出的任何結(jié)果都難免會被質(zhì)疑。只有公開，才有公平公正，才能讓人信服。因此，評測機(jī)構(gòu)開放與不開放都難。

　　第三，評測數(shù)據(jù)集本身存在不夠科學(xué)的情況。比如用中文數(shù)據(jù)集去考核英文大模型，跟讓老外直接來參加高考一樣不靠譜;再比如用通用評測數(shù)據(jù)集去評測醫(yī)療、金融、工業(yè)、科學(xué)等產(chǎn)業(yè)大模型，跟讓體育特長生去參加普通高考一樣，沒太大意義。

　　更諷刺的是，現(xiàn)在行業(yè)出現(xiàn)了一些“隨心所欲的主觀榜單”，排名者不知道是誰，也不會用什么評測數(shù)據(jù)集來測試大模型，而是“我覺得誰第一誰就是第一”，比如這幾天某大模型榜單，一看排名依據(jù)竟然是依據(jù)“開放程度”“技術(shù)專利”“全平臺訪問指數(shù)”和“熱度指數(shù)”，這并不科學(xué)。

　　有的大模型靠“刷分”去拿第一“碾壓GPT-4”，好歹還是花了點(diǎn)功夫去準(zhǔn)備的，比如會讓數(shù)據(jù)標(biāo)注員去做題，頂多算考試舞弊“小抄”。但是搞一些排名機(jī)構(gòu)都不知道是誰、連評測數(shù)據(jù)集都沒有的主觀榜單來宣稱“第一”的玩家，簡直就跟花錢去野雞大學(xué)買學(xué)歷的差不多——更準(zhǔn)確的說法應(yīng)該是，“辦假證”，就算野雞大學(xué)也要去像模像樣學(xué)習(xí)一番。

　　沒有任何證據(jù)表明有大模型創(chuàng)業(yè)者“花錢買榜”的情況，但當(dāng)前大模型榜單確實(shí)存在嚴(yán)重問題，市場亟待一套類似于高考一樣的權(quán)威的大模型評測體系，在公平公正公開的同時(shí)，科學(xué)、全面、有效地衡量大模型的綜合水平。

　　市場需要怎樣的大模型評測體系?

　　從隋唐時(shí)期出現(xiàn)的科舉考試到今天的高考，從中國的四六級英語考試再到國外的GRE、托福、雅思……“考試”讓每個(gè)人都可以公平地被衡量，進(jìn)而得到對應(yīng)的成長機(jī)會。

　　同理，大模型評測體系對大模型的發(fā)展也不可或缺:

　　一方面，如果評測相對準(zhǔn)確、靠譜、權(quán)威，可以科學(xué)、全面、有效地衡量孰優(yōu)孰劣，對市場所有大模型玩家來說無疑是好事。如果評測不準(zhǔn)確，阿貓阿狗的大模型都可以“第一”“奪冠”“屠榜”，對真正擁有頂尖人才、投入巨大資源、攻堅(jiān)技術(shù)卡點(diǎn)的大模型團(tuán)隊(duì)無疑是十分不公平的。榜單排名不只是決定市場認(rèn)知，往往也意味著人才、資金等資源的凝聚能力。

　　另一方面，只有評測結(jié)果相對準(zhǔn)確，大模型研發(fā)者才能知道自己產(chǎn)品的市場水平在哪，優(yōu)缺點(diǎn)在哪，進(jìn)而查漏補(bǔ)缺，沿著正確的方向鉆研算法、提升技術(shù)、加強(qiáng)訓(xùn)練，不斷攻克難點(diǎn)不斷升級迭代，這樣的過程就像高中同學(xué)們參加“模擬考試”或者“摸底考試”的意義一樣。

　　那么，大模型評測體系怎樣才能成為“高考”一樣的權(quán)威評測體系呢?

　　首先，“假學(xué)歷”、“野雞大學(xué)學(xué)歷”這一類“野雞榜單”應(yīng)該被徹底反對，“買榜單”“買排名”這樣的做法應(yīng)該被堅(jiān)決鄙視。讓技術(shù)的歸技術(shù)，大模型技術(shù)實(shí)力只能且必須用技術(shù)說話，搞一些跟技術(shù)沒關(guān)系的評估維度來生拉硬套“造榜單”跟“買假學(xué)歷證”的行為沒什么區(qū)別，行業(yè)對這類榜單應(yīng)該毫不猶豫地唾棄。

　　其次，大模型要證明技術(shù)水平就要尊重“考試”規(guī)則，參加“高考”，當(dāng)前的大模型“高考”體系有待改進(jìn):

　　1、評測過程全開放，數(shù)據(jù)應(yīng)該“開/閉結(jié)合”。機(jī)構(gòu)的評測工具、評測過程、評測方法以及評分體系應(yīng)該毫無保留地開源，確保公平公正公開。評測數(shù)據(jù)集則應(yīng)“開/閉結(jié)合”，開源歷史題目讓大模型訓(xùn)練，但正式的評測數(shù)據(jù)集應(yīng)該封閉以杜絕“刷榜”，在評測結(jié)束后再開放避嫌“暗箱操作”，同時(shí)也可以讓大模型研發(fā)者有的放矢地去發(fā)現(xiàn)問題和改進(jìn)技術(shù)。此外，機(jī)構(gòu)也可以開源類似于面試求職一樣的開放題目，再配套對應(yīng)的評測體系來衡量大模型表現(xiàn)。

　　參考高考作文題目打分來看，評測機(jī)構(gòu)甚至可以多家聯(lián)合評測，最大化規(guī)避主觀問題和隨機(jī)因素，盡可能真實(shí)地衡量大模型的水平。

　　2、評測體系更全面，評測方式多元化。除針對大模型在性能與泛化評測等表現(xiàn)設(shè)計(jì)評估體系外，更多兼顧到大模型的能效、魯棒性、安全性等綜合能力評測。與此同時(shí)，針對不同類型的大模型設(shè)計(jì)對應(yīng)的評測體系，比如金融大模型強(qiáng)化金融級安全評測，比如工業(yè)大模型則要評估其在惡劣環(huán)境下的極限表現(xiàn)。

　　3、評測數(shù)據(jù)集更專業(yè)，不斷豐富評測數(shù)據(jù)。評測數(shù)據(jù)集的建立過程本質(zhì)是“命題”，參考高考來看，這是一個(gè)系統(tǒng)而科學(xué)的工程。針對大模型的評測數(shù)據(jù)集應(yīng)該不斷完善，隨著大模型的迭代而迭代，比如GPT-4強(qiáng)化多模態(tài)能力，評測數(shù)據(jù)集也應(yīng)該配套強(qiáng)化音視頻等多媒體內(nèi)容理解與生成相關(guān)評測數(shù)據(jù)集;再比如針對金融等專業(yè)大模型，評測數(shù)據(jù)集應(yīng)該有對應(yīng)的專業(yè)題庫。每年高考作文命題都會貼合實(shí)時(shí)，正是因?yàn)橄嚓P(guān)題目不可能存在歷史題目，大模型評測數(shù)據(jù)集同樣可與時(shí)俱進(jìn)，結(jié)合最新的實(shí)時(shí)知識去完善，讓大模型不可能靠刷題、刷分得高分。

　　如何準(zhǔn)確測量一個(gè)大模型的能力，這實(shí)際上還是一個(gè)非常有爭議的問題，因?yàn)槟壳拔覀兤鋵?shí)還并不能確切地指出大模型智能涌現(xiàn)的原因。很多時(shí)候，模型運(yùn)作本身是一個(gè)黑箱過程，這就意味著對大模型的測評某種意義上講是管中窺豹——它的完善就如同大模型能力的提升一樣，都將是一個(gè)長期的過程。

　　世界上不會有完美的大模型評測體系，但隨著技術(shù)的迭代，當(dāng)前的大模型評估體系需要升級，貼合市場需求，回歸技術(shù)本身，讓大模型開發(fā)者們可以沿著正確的方向前進(jìn)。

　　對于大模型開發(fā)者來說，任何榜單的排名是技術(shù)進(jìn)化的自然結(jié)果，而不應(yīng)該被當(dāng)成目的。大模型團(tuán)隊(duì)的資源是有限的，如果花心思、資源與精力去定制榜單搞排名追求“虛假強(qiáng)大”，哪怕拿遍行業(yè)第一都沒什么意義，這是緣木求魚。不論怎樣證明自己第一都是沒有用的，不斷精進(jìn)技術(shù)，加速技術(shù)產(chǎn)品化的步伐，讓技術(shù)進(jìn)入場景才是大模型團(tuán)隊(duì)的大事。有沒有B端客戶買單?真實(shí)下載量、用戶數(shù)到底如何?行業(yè)內(nèi)的真實(shí)口碑如何?學(xué)術(shù)圈的技術(shù)評價(jià)怎樣?能不能實(shí)現(xiàn)商業(yè)化?這些評估體系遠(yuǎn)比任何榜單的排名重要得多。