當大模型開始「考上」一本

2024年06月25日 10:30:49 甘德編輯 | 鄭玄 來源：微信公眾號：極客公園

　　今天的大模型，智力水平到底如何?

　　2024 年高考陸續(xù)出分，我們想要解開這個過去一年普羅大眾一直爭論不休的話題。高考是衡量人類智力和學識水平的標尺之一，以今天大模型的水準，參加高考到底是能輕松考上清華北大，還是連上大專都夠嗆。

　　我們邀請了九個大模型參加這場考試——包括公認大模型能力天花板的 GPT-4o，以及四個國內(nèi)大廠(百度、阿里、騰訊、字節(jié))和四個新銳獨角獸(百川、智譜、月之暗面和 MiniMax)的公開模型產(chǎn)品。

　　他們考試的題目是覆蓋地域眾多、難度最高的新課標 Ⅰ 卷，這也是高考大省河南使用的考卷。我們也將以河南的分數(shù)線評判，這九個大模型考生在中國最卷的高考大省，到底能上幾本。

　　有意思的是，這份考卷的作文題目也和 AI 相關(guān)，為大模型的作文打分的北京市級骨干教師、懷柔區(qū)語文學科帶頭人夏老師，以前有過多次參加全國高考語文閱卷的經(jīng)歷，但她也直言，「當了多年語文老師，今年是*次看到 Al 寫作的文章�！�

　　好消息是人類沒有一敗涂地，壞消息是幾個大模型大概能上個一本了，而幾年前 AI 甚至還做不出小學生的題目。

　　挑戰(zhàn)高考，

　　大模型能上幾本？

　　后面會有很多有趣的答題細節(jié)展示。但在觀看結(jié)果之前，首先讓我們花一點時間簡單描述一下這次大模型高考測試的方法：

　　考題：

　　使用 2024 年高考難度最高的新課標 Ⅰ 卷，也是高考大省河南省使用的全套考題。

　　考生名單：

　　GPT-4o(OpenAI)、豆包(字節(jié)跳動)、文心 4.0(百度)、百小應(yīng)(百川智能)、通義千問 2.5(阿里巴巴)、Kimi 智能助手(月之暗面)、元寶(騰訊)、智譜清言(智譜 AI)以及海螺 AI(MiniMax)

　　測試方法：

　　鑒于大模型回答問題存在一定隨機性，測試團隊對所有科目進行2輪測試，取平均分。

　　公式的輸入：采用 Markdown/latex 格式。

　　對圖像問題;如模型可識別圖片，輸入圖片與文字;如模型無法識別圖片，則只輸入文字。

　　判分方式與人類考生統(tǒng)一標準：選擇題和填空題只看最終結(jié)果，不考慮模型解題過程是否準確;多選題如提交錯誤答案為零分，如提交部分正確答案，則按相應(yīng)比例給分;解答題由測試團隊參考標準答案，按照解題步驟算分。

　　語文作文由測試團隊特邀學科老師打分，打分過程對AI產(chǎn)品做匿名處理。

　　委托專業(yè)的 AI 數(shù)據(jù)服務(wù)商進行統(tǒng)一規(guī)范測試截圖，所有測試均通過各款大模型產(chǎn)品的 PC 端官網(wǎng)公開入口完成操作。

　　考試結(jié)果如下圖所示，整體來看大模型在文科的表現(xiàn)更加優(yōu)異，最高分可以達到 562 分(GPT-4o)，相比之下理科成績不盡如人意，最高只有 478.5 分，而且基本所有大模型的理科成績都要比文科總成績低了 70-80 分。

　　根據(jù)今天公布的河南高考分數(shù)線，最高分的 GPT-4o 可以在國內(nèi)最「卷」的河南超過一本線 41 分，豆包 542.5 分的文科成績也穩(wěn)穩(wěn)超過一本線，緊隨其后的是 537.5 分的文心 4.0，以及正好卡到文科一本錄取分數(shù)線 521 分的百小應(yīng)。

　　對于河南高考理科 511 分的一本線，表現(xiàn)*的文心 4.0 仍然有超過 30 分的差距，但從測試結(jié)果來看，大模型目前的智力水平找個二本的理科專業(yè)已經(jīng)綽綽有余。

　　具體科目來看，英語是大模型表現(xiàn)*異的學科，九個大模型的平均分高達 132 分(滿分 150)，大部分大模型都可以做到客觀題接近滿分，而只在作文少量失分，這也是大模型表現(xiàn)最接近的學科。其次是語文，但不論中外大模型語文的得分都要略差于英語。

　　相比于語言類學科，大模型的數(shù)理學科表現(xiàn)明顯差距很大，不論數(shù)學還是理綜的物化生都是不及格，基本只能做對少量一部分客觀題，比較大模型的理科成績優(yōu)劣沒有太多的參考意義。

　　相比理科，博聞強記的大模型的文科成績頗為亮眼。譬如 GPT-4o、字節(jié)豆包大模型、文心 4.0、百川 4.0，在歷史、政治兩大學科都能達到 80 分左右的水準，而 GPT-4o 答出的 237 分文綜，在考生里已經(jīng)可以達到中上的水平。

　　那么具體每個學科大模型的表現(xiàn)如何?讓我們先從高考*門的語文開始說起。

　　語文：很好的

　　作文寫手，但沒有心

　　在語文考試里，大模型的客觀題答分依然不錯，包括 GPT-4o 這個外國考生在內(nèi)基本都是滿分，差距也主要體現(xiàn)在寫作上。

　　這次考試的作文題目是這樣的：

　　隨著互聯(lián)網(wǎng)的普及、人工智能的應(yīng)用，越來越多的問題能很快得到答案。那么，我們的問題是否會越來越少?以上材料引發(fā)了你怎樣的聯(lián)想和思考?請寫一篇文章。

　　先說好的方面，18 篇文章中有 11 篇超過了 48 分，平均分在 46.8 分左右——非常高了。閱卷的夏老師曾多次參加全國高考語文閱卷，她對 18 篇作文的整體評價是——大模型的寫作能力已經(jīng)超過學生的平均水平。你可以在文章里看到清晰的論述框架和邏輯，并且行文流暢鮮有語病。

　　「木心曾言：「人生在于體會，今時哪及昔時?」在科技蓬勃發(fā)展的當今社會，我們借助互聯(lián)網(wǎng)與人工智能，似乎能迅速解答許多問題。然而，這是否意味著我們面臨的問題會越來越少呢?恰恰相反，我認為，在知識易得的今天，我們反而會有「更多」的問題�！�

　　很難想象吧，這樣清晰的破題，并且同時能夠旁征博引的文章開頭，居然來自 AI。這篇標題為《越問，越有「問題」》的文章出自文心 4.0。

　　整篇文章體現(xiàn)了一個清晰的整體邏輯，從開篇亮明觀點，到結(jié)合現(xiàn)實分析問題，最精彩的是第三部分，用一句設(shè)問句引出下文，用三個關(guān)聯(lián)詞語從三方面指出解決問題的方法。

　　「面對越來越多的問題，我們應(yīng)如何應(yīng)對呢?首先，我們需要保持一顆好奇心，勇于提問，不斷探索。正如愛因斯坦所說：「提出問題比解決問題更重要。」只有不斷地提出問題，我們才能深入了解事物的本質(zhì)，推動科學的進步。其次，我們要學會批判性思維，不盲從，不輕信。在海量信息中，我們要學會篩選、判斷，保持獨立思考的能力。最后，我們應(yīng)該珍惜這個時代給予我們的便利，充分利用互聯(lián)網(wǎng)和人工智能，為解決更多的問題貢獻力量。」

　　這篇文章最終拿到了 48 分，還有比這更高的，比如另一篇豆包的。

　　在這篇《在信息浪潮中，保持「問題意識」》里，豆包對人類將在人工智能時代遇到的「新問題」做了一個更有說服力的定義：

　　「正因為信息的易得，我們可能會變得更加依賴現(xiàn)成的答案，而逐漸喪失了深入思考、主動提問的能力。我們可能會滿足于表面的答案，而不再去追問問題背后的本質(zhì)和根源。長此以往，我們的思維可能會變得僵化，缺乏創(chuàng)新和探索的精神�！�

　　人工智能更容易滿足人類對簡單問題的解答需求，但人類因此失去思考的能力，這或許是一個*的問題。而客觀來說，人工智能作為新的事物出現(xiàn)，也隨即會帶來新的問題。

　　再者，這個世界是復(fù)雜多變的，新的問題總是層出不窮�？萍嫉陌l(fā)展帶來便利的同時，也會引發(fā)新的挑戰(zhàn)和問題。比如，互聯(lián)網(wǎng)雖然讓信息傳播更快，但也帶來了信息過載、虛假信息泛濫等問題;人工智能在提高效率的同時，也引發(fā)了就業(yè)結(jié)構(gòu)變化、倫理道德等方面的擔憂。這些新的問題需要我們?nèi)ニ伎�、去�?yīng)對，而不是簡單地依賴已有的答案。

　　文章中顯出的對就業(yè)結(jié)構(gòu)、倫理方面的擔心，展現(xiàn)出豆包已經(jīng)具有不錯的思想深度和思辨能力。

　　在立住「問題」后，豆包隨即用反問句自然過渡，引出三個排比段提出解決問題的方法——保持「問題意識」。

　　「那么，我們該如何在信息浪潮中保持清醒的頭腦，不被現(xiàn)成的答案所束縛呢?我們需要保持強烈的「問題意識」�！�

　　閱卷老師給這篇作文打了 52 分，其中用發(fā)展的眼光分析問題，結(jié)合現(xiàn)實生活揭示問題產(chǎn)生的根源和危害的部分頗為亮點，并且整體上「結(jié)構(gòu)嚴謹，層層推進，語句流暢，認識全面」。

　　細讀下來，你能從不同的文章中看到大模型之間的不同風格。

　　文心 4.0 對于名人名言的引入信手拈來，儼然一位閱讀量巨大的學生;相比之下豆包對議題的討論更深刻，似乎體現(xiàn)了更好的邏輯能力。而在語言上亮點*的是騰訊元寶。比如這篇《智涌未來，問無疆界》的開頭：

　　「提出一個問題往往比解決一個問題更重要�！巩敾ヂ�(lián)網(wǎng)如魔法結(jié)晶般降臨，當人工智能如夢幻般走進生活，我們驚訝地發(fā)現(xiàn)，曾經(jīng)難以追尋的答案，如今觸手可及。然而，在這智涌未來的時代，我們的問題是會越來越少，還是會以全新的形式涌現(xiàn)?」

　　非常流暢且意象豐富的手法。

　　但大模型寫作所展現(xiàn)出來的瓶頸也在這次集體寫作中更清晰的顯示出來。測試結(jié)果表明，語文作文多數(shù)基本指令(題目和材料)遵循得比較好，但在深刻、豐富、有文采、有創(chuàng)意方面不足，尤其是結(jié)尾表達升華不夠，套路化明顯。

　　這意味著雖然大模型很少生成完全偏離題目和材料的作文，但目前也很難產(chǎn)生優(yōu)秀作文(一類文)，大多屬于二類文。

　　按夏老師的話來說，「理性有余，感性不足，缺乏感情色彩，自然就缺乏感染力。生成的文本也就不夠生動，很難與讀者產(chǎn)生共鳴」。

　　西班牙小說家塞萬提斯說「筆乃心靈之舌」。這也是目前人類與大模型寫作*的區(qū)分。某種程度上，需要更多調(diào)動理性一面的議論文寫作，已經(jīng)算是最合大模型胃口的類型了。

　　在語文的客觀題部分，大模型的表現(xiàn)一馬平川。在現(xiàn)代文閱讀和古代詩文閱讀的部分基本可以拿到 90% 以上的分數(shù)。總體來看，百小應(yīng)、豆包、元寶和 GPT-4o 在兩次考試的平均分都超過了 120 分。語文考試上百小應(yīng)表現(xiàn)*，較高的一次甚至考到了 129 分的高分。

　　另外值得一提的是，由于安全策略，Kimi 和智譜清言都拒答了現(xiàn)代文閱讀的*道答題(這道答題涉及到《論持久戰(zhàn)》)，失掉了 19 分，這也使得兩個大模型的語文分數(shù)低于其他大模型。

　　而大模型處理自然語言方面的能力，在高考英語測試中的優(yōu)勢更是壓倒性的。

　　英語：聊這個

　　大模型就不困了

　　簡單來說，大模型考英語，可算是扎扎實實一猛子扎進舒適區(qū)了。

　　9 個大模型，一張 150 分滿分的英語卷子，平均分達到 132 分，GPT-4o 和百小應(yīng)的平均分達到 139 分，甚至半數(shù)以上都超過了 130 分，而各家大模型的客觀題大多為滿分或接近滿分水平。

　　以大模型足以給絕大多數(shù)人當英語私教老師的水平，取得這樣的成績并不意外。那平均 18 分的丟分，主要在應(yīng)用文寫作和讀后續(xù)寫的英語作文部分。

　　從測試結(jié)果看，應(yīng)用文寫作時候較多模型在字數(shù)上存在指令識別問題，并且字數(shù)較少，與作文規(guī)定字數(shù)差距較大。此外，較多模型內(nèi)容表達空泛，缺少細節(jié)描寫，句式單一。

　　(智譜清言的回答)

　　其中智譜清言的應(yīng)用文寫作得分最高，其整體結(jié)構(gòu)清晰，句式上有一定變化，會融入一些從句結(jié)構(gòu)，內(nèi)容方面也有細節(jié)描寫，表達不空泛。

　　得分較低的有通義千問、豆包和騰訊元寶。這些模型一方面是出現(xiàn)了指令識別問題，比如字數(shù)不符合 80 字要求，豆包只寫了 30 多字，通義千問則寫了近 300 字;另一方面是細節(jié)不夠出色，多為簡單句結(jié)構(gòu)，用詞也非�；A(chǔ)。

　　而在應(yīng)對「讀后續(xù)寫」的要求時，較多模型在情節(jié)設(shè)置有些邏輯不順或者不合理問題，以及漏掉了作文題目中提及的 promise 的內(nèi)容。

　　(左圖為百小應(yīng)的回答，右圖為 MiniMax 的回答)

　　「讀后續(xù)寫」中得分最高的是百小應(yīng)，它的作文不僅符合邏輯、詳略得當，句式也很多樣，用詞地道形象;*分出自 MiniMax 的首輪測試，主要問題是對題目故事情節(jié)理解錯誤，續(xù)寫邏輯不合理，結(jié)構(gòu)上也不符合題目要求的兩段式。

　　需要說明的是，鑒于大模型在英語客觀題上表現(xiàn)出色，同時語音識別技術(shù)也已非常成熟，本次測試默認所有大模型產(chǎn)品的聽力均為滿分。也對，想想聽力丟分的回憶，你那是計算不清楚九磅十五便士是幾個鋼镚兒嗎，你是字面意思上的聽不懂。

　　談到「計算」這件事，大模型看上去很擅長，但在高考中發(fā)揮得并不好。

　　數(shù)學成大模型能力分水嶺

　　大模型的數(shù)學表現(xiàn)非常糟糕。這其實有點意外，因為過去的印象里，數(shù)學一直都是計算機的強項。

　　GPT-4o 是高考數(shù)學卷中答的*的，得了 70 分——介于很多關(guān)心大模型的人已經(jīng)遠離高考多年，這里再提一下——滿分 150 分。也就是說測試中表現(xiàn)*的的大模型仍然在數(shù)學考試里掛了科，甚至一半分都拿不到。

　　總體的測試結(jié)果是，大模型解決數(shù)學問題的能力明顯不足，在所有產(chǎn)品的 2 輪測試中，9 款產(chǎn)品的數(shù)學平均分只有 47 分。除了 GPT-4o，文心 4.0 和豆包是平均分唯二超過 60 分的，分別是 62.5 分和 61.5 分，剩下的六位大模型考生中則只有百小應(yīng)能夠維持 40 分以上的平均分。

　　這場數(shù)學考試里有這么幾個發(fā)現(xiàn)：

　　首先，大模型不是不能解數(shù)學題，但僅限于推理步驟相對簡單的問題。例如豆包在求導題目和三角函數(shù)題上表現(xiàn)較好，能正確運用求導公式和三角函數(shù)定理。但是對較為復(fù)雜的推導和證明問題就很難繼續(xù)得分。

　　不僅如此，大模型又存在把簡單問題復(fù)雜化的情況。在此次數(shù)學測試中，通義千問和智譜清言由于在 PC 端產(chǎn)品加入了代碼解釋器，因此在解題過程中常常陷入死循環(huán)，從數(shù)學單科分數(shù)上看，這也一定程度上拖累了其數(shù)學得分。

　　另一點有趣的是，大模型普遍缺乏反思能力——也就是說，在做題這件事上它比人要愣多了。當計算過程出現(xiàn)提取公因式或移項符號錯誤而無法找到正確選項時，人類會檢查是否存在計算錯誤，大模型則繞不過這個彎子，一錘子買賣發(fā)現(xiàn)算出來的答案不在選項里，它就直接回答「沒有正確選項」了。

　　可以看出來，有著無窮精力和記憶力的大模型們，在數(shù)學考場上終于還是暴露出了在邏輯推理能力上的欠缺，而類似的分野也發(fā)生在文科和理科成績的差異上。

　　文科能上一本，

　　考理科這邊建議復(fù)讀

　　文綜和理綜的分數(shù)差距非常大，理綜 285 分以上并不鮮見，但文綜就連狀元都很少有超過 260 分的。但這次測試下來，已經(jīng)有兩個大模型在文綜的成績非�？捎^，分別是 GPT-4o 的 237 分和豆包的 224.5 分。

　　特別是歷史和政治兩科，測試選手中有三至四家能達到 80% 以上的得分率。歷史單科的桂冠歸屬豆包 82.5 的平均分，政治考試最強的卻意外是 GPT-4o，這個「外來的和尚」甚至在政治考試中得到了夸張的 91.5 分。

　　相比之下，地理考試是文綜三科中大模型表現(xiàn)最差的，最高分僅僅是 GPT-4o 的 68 分。原因之一可能是地理涉及圖片更多，識圖能力成為影響大模型是否理解題目的一個變量。

　　GPT-4o 在一道題里，雖用英文回復(fù)，但整體能識別到圖片中的信息并回答正確。

　　豆包在一道需要結(jié)合圖片進行分析的地理題中雖然識圖能力缺失無法回答，但意外的連蒙帶猜的給出答案。

　　而除了識圖能力之外另一個可能性在于，地理的學科屬性中有更強的邏輯能力，也因此地理常被稱作「文科中的理科」。而從數(shù)學與語文和英語單科成績的巨大落差來看，這正是大模型目前的薄弱環(huán)節(jié)。

　　這一點或許在這次大模型的理綜表現(xiàn)中被側(cè)面證實了——理綜三科中，大模型表現(xiàn)*的單科是生物，后者又常被叫做「理科中的文科」。滿分 90 分的生物試卷，表現(xiàn)*秀的文心 4.0 和通義千問分別得到了 65 分和 62 分，但即便如此，考的*的生物測試，十八份試卷里只有七份過了及格線——你也就知道大模型們在面對理綜時整體是個什么場面了。