OpenAI o1全方位SOTA登頂lmsys推薦榜！數(shù)學(xué)能力碾壓Claude和谷歌模型，o1-mini并列第一

　　o1模型發(fā)布1周，lmsys的6k+投票就將o1-preview送上了排行榜榜首。同時(shí)，為了滿足大家對(duì)模型「IOI金牌水平」的好奇心，OpenAI放出了o1測(cè)評(píng)時(shí)提交的所有代碼。

　　萬眾矚目的最新模型OpenAI o1，終于迎來了lmsys競(jìng)技場(chǎng)的測(cè)評(píng)結(jié)果。

　　不出意外，o1-preview在各種領(lǐng)域絕對(duì)登頂，超過了最新版的GPT-4o，在數(shù)學(xué)、困難提示和編碼領(lǐng)域表現(xiàn)出色;

　　而o1-mini雖然名字中自帶「mini」，但也和最新版的GPT-4o并列綜合排名第二，困難提示、編碼、數(shù)學(xué)等領(lǐng)域和o1-preview同樣登頂?shù)谝弧?/p>

　　果然，o1模型不愧是通用推理領(lǐng)域的新王。

　　lmsys社區(qū)官方發(fā)推表示，這項(xiàng)測(cè)試結(jié)果收集了6k+社區(qū)投票，并將OpenAI這次取得的進(jìn)展描述為「令人難以置信的里程碑」。

　　單純看排行榜的排名可能不夠具有說服力，于是lmsys特意統(tǒng)計(jì)了總榜上前25名模型的1v1勝率。

　　可以看到，o1-preview對(duì)所有模型的勝率都超過了50%，對(duì)比04-09版GPT-4-Turbo的勝率最高，達(dá)到了88%。

　　o1-mini如果對(duì)戰(zhàn)o1-preview，勝率為46%，對(duì)09-03版GPT-4o的勝率為48%，可以說是大體平手、稍遜一籌的狀態(tài)。

　　值得注意的是，雖然Grok-2-mini和Claude3.5Sonnet都排在比較靠后的位置，但o1-preview對(duì)這兩個(gè)模型的勝率并不高，分別是58%和57%，大大小于排名第四的Gemini1.5Pro的69%。

　　如果看到細(xì)分領(lǐng)域的排行榜，尤其是數(shù)學(xué)/推理領(lǐng)域，效果則更加驚艷。

　　o1-preview和o1-mini不僅是登頂數(shù)學(xué)排行榜，而且是體現(xiàn)出了絕對(duì)的領(lǐng)先優(yōu)勢(shì)。

　　排在第三、第四的Claude3.5Sonnet、Gemini1.5Pro和08-08版ChatGPT-4o的均分都在1275左右，不相上下;o1-preview和o1-mini則一騎絕塵，分?jǐn)?shù)飆到1360附近，直接碾壓。

　　o1推理團(tuán)隊(duì)的領(lǐng)導(dǎo)者之一William Fedus看到這張圖也是相當(dāng)開心，他表示這張圖「很好地用視覺表達(dá)了范式轉(zhuǎn)換」。

　　看來最新的o1模型在STEM學(xué)科和通用推理方面的確又達(dá)到了新高度，用實(shí)際測(cè)評(píng)結(jié)果回應(yīng)了「AI遇冷」、「OpenAI碰壁」的質(zhì)疑聲。

　　「那就繼續(xù)期待OpenAI接下來的發(fā)布吧!」

　　但一些人感嘆「未來可期」的同時(shí)，另一些人想到了自己不多的智商和頭發(fā)。

　　「模型搞得這么好了，測(cè)試就不適合我這種蠢人了�！�

　　同時(shí)，也有一些人表達(dá)了對(duì)lmsys排行榜結(jié)果的質(zhì)疑。

　　比如，眾所周知的o1模型推理時(shí)間長(zhǎng)，因而回答的延時(shí)也長(zhǎng)，和其他模型都有明顯差別;而且不同于各類基準(zhǔn)測(cè)試的客觀標(biāo)準(zhǔn)，lmsys社區(qū)中完全基于用戶的主觀評(píng)分，難說這里面是否存在「安慰劑效應(yīng)」。

　　也有人不服o1在編碼排行榜上的第一，認(rèn)為雖然o1-mini非常適合進(jìn)行項(xiàng)目規(guī)劃，但在Cursor這類編碼助手中還是Claude模型的表現(xiàn)最佳。

　　排行榜的結(jié)果當(dāng)然不是全部，o1模型能否繼續(xù)贏得口碑，同時(shí)保持住智力水平不變蠢，還要看接下來的一段時(shí)間。

　　IOI金牌代碼全公開

　　說到o1模型的編碼能力，不知道你還是否記得，剛發(fā)布時(shí)OpenAI提到了這樣一個(gè)指標(biāo):如果放寬提交約束到每個(gè)問題允許1萬次提交，o1可以達(dá)到高于IOI金牌門檻的分?jǐn)?shù)。

　　在模擬進(jìn)行的Codeforces編程競(jìng)賽中，使用相同的規(guī)則進(jìn)行評(píng)估，o1-preview可以打敗62%的人類選手，正式版o1則上升到超越89%的對(duì)手。

　　專門微調(diào)過的o1-ioi模型，表現(xiàn)優(yōu)于93%的競(jìng)爭(zhēng)對(duì)手。

　　此外，前段時(shí)間有用戶在實(shí)時(shí)的Codeforces比賽中使用了o1模型，結(jié)果是超越了99.8%的人類選手。

　　由于o1在編程競(jìng)賽領(lǐng)域的表現(xiàn)如此突出，引起了AI社區(qū)強(qiáng)烈的興趣和好奇，OpenAI于是選擇發(fā)布o(jì)1模型提交的代碼內(nèi)容，包括6個(gè)問題的全部C++代碼以及注釋。

　　發(fā)文的yummy是o1模型的核心貢獻(xiàn)者Alexander Wei

　　對(duì)于o1的驚艷表現(xiàn)，Alexander Wei自己都很驚訝。

　　他本人在9年前曾參加IOI競(jìng)賽，但從未想到自己這么快就需要和AI競(jìng)爭(zhēng)，模型展現(xiàn)出的推理過程的復(fù)雜程度令人印象深刻。

　　博文表示，雖然o1模型距離人類的頂級(jí)表現(xiàn)還有很長(zhǎng)的一段路要走，但我們期待有一天能實(shí)現(xiàn)這個(gè)目標(biāo)。

　　這個(gè)發(fā)展軌跡讓人想起了AlphaGo——從水平高超，到能和人類頂級(jí)高手不分勝負(fù)，再到5-0完全碾壓李世石。

　　OpenAI想要達(dá)成的，估計(jì)就是究極進(jìn)化的、能在編程上碾壓人類頂級(jí)高手的AlphaZero。

　　此處公布代碼的6個(gè)問題具體如下:

　　有網(wǎng)友指出，其中最令人印象深刻的應(yīng)該是象形文字(hieroglyphs)問題，o1模型總共得到44分，在現(xiàn)場(chǎng)的所有選手中排名第四。這表明，模型或許可以破譯一些人類無法解決的子任務(wù)。

　　前幾天，一位目前在NASA工作的天體物理學(xué)博士就嘗試讓o1復(fù)現(xiàn)自己論文中的代碼，結(jié)果一試嚇一跳——自己讀博時(shí)花了1年寫出的代碼，o1只用了一小時(shí)就寫完了。

　　這還只是裸模型，如果加上代碼解釋器、網(wǎng)絡(luò)實(shí)時(shí)搜索等各種工具，效果想必更加驚艷。

　　而且，Reddit網(wǎng)友還送來了溫馨提示:這只是o1預(yù)覽版哦，可以狠狠期待一下不到一個(gè)月就即將問世的正式版o1了。

　　此外，這位網(wǎng)友還表示，o1基本沿用了GPT-4的架構(gòu);那你想，改換架構(gòu)后的GPT-5(也就是傳說中的獵戶座)能達(dá)到什么高度。