o1模型發(fā)布1周,lmsys的6k+投票就將o1-preview送上了排行榜榜首。同時,為了滿足大家對模型「IOI金牌水平」的好奇心,OpenAI放出了o1測評時提交的所有代碼。
萬眾矚目的最新模型OpenAI o1,終于迎來了lmsys競技場的測評結(jié)果。
不出意外,o1-preview在各種領(lǐng)域絕對登頂,超過了最新版的GPT-4o,在數(shù)學、困難提示和編碼領(lǐng)域表現(xiàn)出色;
而o1-mini雖然名字中自帶「mini」,但也和最新版的GPT-4o并列綜合排名第二,困難提示、編碼、數(shù)學等領(lǐng)域和o1-preview同樣登頂?shù)谝弧?/p>
果然,o1模型不愧是通用推理領(lǐng)域的新王。
lmsys社區(qū)官方發(fā)推表示,這項測試結(jié)果收集了6k+社區(qū)投票,并將OpenAI這次取得的進展描述為「令人難以置信的里程碑」。
單純看排行榜的排名可能不夠具有說服力,于是lmsys特意統(tǒng)計了總榜上前25名模型的1v1勝率。
可以看到,o1-preview對所有模型的勝率都超過了50%,對比04-09版GPT-4-Turbo的勝率最高,達到了88%。
o1-mini如果對戰(zhàn)o1-preview,勝率為46%,對09-03版GPT-4o的勝率為48%,可以說是大體平手、稍遜一籌的狀態(tài)。
值得注意的是,雖然Grok-2-mini和Claude3.5Sonnet都排在比較靠后的位置,但o1-preview對這兩個模型的勝率并不高,分別是58%和57%,大大小于排名第四的Gemini1.5Pro的69%。
如果看到細分領(lǐng)域的排行榜,尤其是數(shù)學/推理領(lǐng)域,效果則更加驚艷。
o1-preview和o1-mini不僅是登頂數(shù)學排行榜,而且是體現(xiàn)出了絕對的領(lǐng)先優(yōu)勢。
排在第三、第四的Claude3.5Sonnet、Gemini1.5Pro和08-08版ChatGPT-4o的均分都在1275左右,不相上下;o1-preview和o1-mini則一騎絕塵,分數(shù)飆到1360附近,直接碾壓。
o1推理團隊的領(lǐng)導者之一William Fedus看到這張圖也是相當開心,他表示這張圖「很好地用視覺表達了范式轉(zhuǎn)換」。
看來最新的o1模型在STEM學科和通用推理方面的確又達到了新高度,用實際測評結(jié)果回應了「AI遇冷」、「OpenAI碰壁」的質(zhì)疑聲。
「那就繼續(xù)期待OpenAI接下來的發(fā)布吧!」
但一些人感嘆「未來可期」的同時,另一些人想到了自己不多的智商和頭發(fā)。
「模型搞得這么好了,測試就不適合我這種蠢人了。」
同時,也有一些人表達了對lmsys排行榜結(jié)果的質(zhì)疑。
比如,眾所周知的o1模型推理時間長,因而回答的延時也長,和其他模型都有明顯差別;而且不同于各類基準測試的客觀標準,lmsys社區(qū)中完全基于用戶的主觀評分,難說這里面是否存在「安慰劑效應」。
也有人不服o1在編碼排行榜上的第一,認為雖然o1-mini非常適合進行項目規(guī)劃,但在Cursor這類編碼助手中還是Claude模型的表現(xiàn)最佳。
排行榜的結(jié)果當然不是全部,o1模型能否繼續(xù)贏得口碑,同時保持住智力水平不變蠢,還要看接下來的一段時間。
IOI金牌代碼全公開
說到o1模型的編碼能力,不知道你還是否記得,剛發(fā)布時OpenAI提到了這樣一個指標:如果放寬提交約束到每個問題允許1萬次提交,o1可以達到高于IOI金牌門檻的分數(shù)。
在模擬進行的Codeforces編程競賽中,使用相同的規(guī)則進行評估,o1-preview可以打敗62%的人類選手,正式版o1則上升到超越89%的對手。
專門微調(diào)過的o1-ioi模型,表現(xiàn)優(yōu)于93%的競爭對手。
此外,前段時間有用戶在實時的Codeforces比賽中使用了o1模型,結(jié)果是超越了99.8%的人類選手。
由于o1在編程競賽領(lǐng)域的表現(xiàn)如此突出,引起了AI社區(qū)強烈的興趣和好奇,OpenAI于是選擇發(fā)布o1模型提交的代碼內(nèi)容,包括6個問題的全部C++代碼以及注釋。
發(fā)文的yummy是o1模型的核心貢獻者Alexander Wei
對于o1的驚艷表現(xiàn),Alexander Wei自己都很驚訝。
他本人在9年前曾參加IOI競賽,但從未想到自己這么快就需要和AI競爭,模型展現(xiàn)出的推理過程的復雜程度令人印象深刻。
博文表示,雖然o1模型距離人類的頂級表現(xiàn)還有很長的一段路要走,但我們期待有一天能實現(xiàn)這個目標。
這個發(fā)展軌跡讓人想起了AlphaGo——從水平高超,到能和人類頂級高手不分勝負,再到5-0完全碾壓李世石。
OpenAI想要達成的,估計就是究極進化的、能在編程上碾壓人類頂級高手的AlphaZero。
此處公布代碼的6個問題具體如下:
有網(wǎng)友指出,其中最令人印象深刻的應該是象形文字(hieroglyphs)問題,o1模型總共得到44分,在現(xiàn)場的所有選手中排名第四。這表明,模型或許可以破譯一些人類無法解決的子任務。
前幾天,一位目前在NASA工作的天體物理學博士就嘗試讓o1復現(xiàn)自己論文中的代碼,結(jié)果一試嚇一跳——自己讀博時花了1年寫出的代碼,o1只用了一小時就寫完了。
這還只是裸模型,如果加上代碼解釋器、網(wǎng)絡實時搜索等各種工具,效果想必更加驚艷。
而且,Reddit網(wǎng)友還送來了溫馨提示:這只是o1預覽版哦,可以狠狠期待一下不到一個月就即將問世的正式版o1了。
此外,這位網(wǎng)友還表示,o1基本沿用了GPT-4的架構(gòu);那你想,改換架構(gòu)后的GPT-5(也就是傳說中的獵戶座)能達到什么高度。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹慎對待。投資者據(jù)此操作,風險自擔。
近日,德國柏林國際電子消費品展覽會(IFA2024)隆重舉辦。憑借在核心技術(shù)、產(chǎn)品設(shè)計及應用方面的創(chuàng)新變革,全球領(lǐng)先的智能終端企業(yè)TCL實業(yè)成功斬獲兩項“IFA全球產(chǎn)品設(shè)計創(chuàng)新大獎”金獎,有力證明了其在全球市場的強大影響力。
近日,中國家電及消費電子博覽會(AWE 2024)隆重開幕。全球領(lǐng)先的智能終端企業(yè)TCL實業(yè)攜多款創(chuàng)新技術(shù)和新品亮相,以敢為精神勇闖技術(shù)無人區(qū),斬獲四項AWE 2024艾普蘭大獎。
“以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進了21600元。
由世界人工智能大會組委會、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會共同指導,由上海市人工智能行業(yè)協(xié)會聯(lián)合上海人工智能實驗室、上海臨港經(jīng)濟發(fā)展(集團)有限公司、開放原子開源基金會主辦的“2024全球開發(fā)者先鋒大會”,將于2024年3月23日至24日舉辦。