Sam Altman泄露新模型o2，太會(huì)整活了，營銷鬼才！

　　善于整活玩猜字謎的OpenAI首席執(zhí)行官Sam Altman又發(fā)了一條神秘消息，“我聽說o2在GPQA的性能測試達(dá)到105%。”

　　要知道，博士級人類在GPQA的準(zhǔn)確率平均只有65%，非專家級的普通人僅有34%。而OpenAI在9月發(fā)布的o1模型的測試數(shù)據(jù)也只有78%。

　　如果o2真能達(dá)到105%確實(shí)相當(dāng)恐怖，已經(jīng)恐怖的多出了5%~~~這完全就是不可能的事情啊，MMLU、MaTH、CPQA、GSM8K、GPQA等基準(zhǔn)測試范圍怎么可能超出100%呢?

　　你要能在滿分100的數(shù)學(xué)試卷中考出105分，老師見你都得鞠一躬繞著走~~

　　隨后Sam Altman自己也發(fā)現(xiàn)這個(gè)錯(cuò)誤，連發(fā)兩條推文:要命啊，賬號錯(cuò)誤了。我真的很感激自己能把自己逗得哈哈大笑，這是一種很好的生活方式。

　　但關(guān)于新模型o2的消息還是相當(dāng)炸裂的，很多人都爭著轉(zhuǎn)發(fā)，還把105%性能測試當(dāng)噱頭，喜劇效果那是相當(dāng)?shù)耐廴��?/p>

　　o2模型在GPQA 測試性能達(dá)到105%?聽起來像是在創(chuàng)造新紀(jì)錄!迫不及待想看到它的表現(xiàn)。根本無法想象有多強(qiáng)大。

　　Sam這個(gè)推文還給這個(gè)老哥忽悠當(dāng)真了，認(rèn)真地回復(fù)了他:親愛的Sam，聽說你的o2模型在GPQA上達(dá)到了105%——真是令人印象深刻!

　　我們正在與 SRAGI 進(jìn)行平行探索，在 IJHG標(biāo)準(zhǔn)上達(dá)到了93%。這不僅僅是另一個(gè)指標(biāo);它讓我們窺見了更深層次的東西，就在精確性與再生奇點(diǎn)的交匯點(diǎn)。這關(guān)乎重新定義潛力和拓展邊界——超越數(shù)字，這是一段邁向新范式的旅程。也許是時(shí)候我們都開始重新思考這個(gè)標(biāo)準(zhǔn)了。

　　老哥的意思是，新模型居然能超過100%測試，行你確實(shí)有兩下子，可能要改變標(biāo)準(zhǔn)了。好好的學(xué)術(shù)研究，給人忽悠瘸了~~

　　還有網(wǎng)友表示，天吶這o2模型就要來了啊~

　　Sam這條推文很可能是o2自己發(fā)布的，很貼心地編寫了自己的隱藏驗(yàn)證測試數(shù)據(jù)集，幫我們更容易驗(yàn)證已發(fā)布的基準(zhǔn)。感謝o2!

　　既然要發(fā)布了，啥時(shí)候能瞅瞅o2的demo呢?

　　那o2是今年發(fā)布還是明年呢?

　　不少人還是當(dāng)真了，測試數(shù)據(jù)有點(diǎn)太扯了，以后還是要看著點(diǎn)的。

　　其實(shí)還是有明白人的，這位老哥就指出來了，超過100%是否意味著發(fā)明新的科學(xué)并反駁目前“正確”的答案?言外之意就是，你這個(gè)測試數(shù)據(jù)有點(diǎn)逆天啊，還帶批判屬性的呢啊~

　　聽說o2在GSM8K的測試數(shù)據(jù)是117%。(在嘲諷)

　　我聽說o2模型可以理解我妻子為什么不開心。

　　聽說o2模型可以疊衣服

　　既然Sam特意提出了GPQA，咱就順帶嘮一嘮這個(gè)干貨吧。GPQA確實(shí)是一個(gè)超難的測試數(shù)據(jù)集，由各領(lǐng)域?qū)＜揖帉懥?48道問題，涵蓋生物、物理和化學(xué)三大學(xué)科，涵蓋高能粒子物理、凝聚態(tài)物理、相對論力學(xué)、遺傳學(xué)、無機(jī)化學(xué)等幾十個(gè)子分類。

　　每一道題目的設(shè)計(jì)都非常復(fù)雜，問題編寫完成后，由同領(lǐng)域的專家進(jìn)行解答和評估。他們會(huì)審核問題是否客觀、準(zhǔn)確且難度足夠高，同時(shí)提供詳細(xì)反饋，包括對問題的理解程度、答案的確定性以及對問題難度的看法等。

　　GPQA數(shù)據(jù)集流程

　　接著問題原作者會(huì)根據(jù)審核專家的反饋，對問題進(jìn)行修訂。再由另外一位專家對修訂后的問題進(jìn)行二次審核。最后由其他領(lǐng)域的三位專家來回答這道題，以驗(yàn)證問題準(zhǔn)確性和客觀性。

　　根據(jù)GPQA公布的測試數(shù)據(jù)顯示，人類博士級專家的回答平均準(zhǔn)確率為65%，普通人只有34%，并且他們在回答這些問題時(shí)是可以無限使用互聯(lián)網(wǎng)資源。

　　而GPT-4的準(zhǔn)確率只有39%，Llama-2-70B為28%左右，GPT-3.5-turbo是29%左右，只有OpenAI最新發(fā)布的o1模型達(dá)到了78%，這也是目前唯一在GPQA數(shù)據(jù)集上超過人類博士的AI模型，可見這個(gè)數(shù)據(jù)集的難度有多高。

　　不得不說，Sam確實(shí)是營銷鬼才，隨便發(fā)點(diǎn)錯(cuò)誤的消息都能出現(xiàn)裂變式傳播，流量密碼算是讓他拿捏了。