Sam Altman泄露新模型o2，太會(huì)整活了，營(yíng)銷鬼才！

　　善于整活玩猜字謎的OpenAI首席執(zhí)行官Sam Altman又發(fā)了一條神秘消息，“我聽(tīng)說(shuō)o2在GPQA的性能測(cè)試達(dá)到105%。”

　　要知道，博士級(jí)人類在GPQA的準(zhǔn)確率平均只有65%，非專家級(jí)的普通人僅有34%。而OpenAI在9月發(fā)布的o1模型的測(cè)試數(shù)據(jù)也只有78%。

　　如果o2真能達(dá)到105%確實(shí)相當(dāng)恐怖，已經(jīng)恐怖的多出了5%~~~這完全就是不可能的事情啊，MMLU、MaTH、CPQA、GSM8K、GPQA等基準(zhǔn)測(cè)試范圍怎么可能超出100%呢?

　　你要能在滿分100的數(shù)學(xué)試卷中考出105分，老師見(jiàn)你都得鞠一躬繞著走~~

　　隨后Sam Altman自己也發(fā)現(xiàn)這個(gè)錯(cuò)誤，連發(fā)兩條推文:要命啊，賬號(hào)錯(cuò)誤了。我真的很感激自己能把自己逗得哈哈大笑，這是一種很好的生活方式。

　　但關(guān)于新模型o2的消息還是相當(dāng)炸裂的，很多人都爭(zhēng)著轉(zhuǎn)發(fā)，還把105%性能測(cè)試當(dāng)噱頭，喜劇效果那是相當(dāng)?shù)耐廴��?/p>

　　o2模型在GPQA 測(cè)試性能達(dá)到105%?聽(tīng)起來(lái)像是在創(chuàng)造新紀(jì)錄!迫不及待想看到它的表現(xiàn)。根本無(wú)法想象有多強(qiáng)大。

　　Sam這個(gè)推文還給這個(gè)老哥忽悠當(dāng)真了，認(rèn)真地回復(fù)了他:親愛(ài)的Sam，聽(tīng)說(shuō)你的o2模型在GPQA上達(dá)到了105%——真是令人印象深刻!

　　我們正在與 SRAGI 進(jìn)行平行探索，在 IJHG標(biāo)準(zhǔn)上達(dá)到了93%。這不僅僅是另一個(gè)指標(biāo);它讓我們窺見(jiàn)了更深層次的東西，就在精確性與再生奇點(diǎn)的交匯點(diǎn)。這關(guān)乎重新定義潛力和拓展邊界——超越數(shù)字，這是一段邁向新范式的旅程。也許是時(shí)候我們都開(kāi)始重新思考這個(gè)標(biāo)準(zhǔn)了。

　　老哥的意思是，新模型居然能超過(guò)100%測(cè)試，行你確實(shí)有兩下子，可能要改變標(biāo)準(zhǔn)了。好好的學(xué)術(shù)研究，給人忽悠瘸了~~

　　還有網(wǎng)友表示，天吶這o2模型就要來(lái)了啊~

　　Sam這條推文很可能是o2自己發(fā)布的，很貼心地編寫(xiě)了自己的隱藏驗(yàn)證測(cè)試數(shù)據(jù)集，幫我們更容易驗(yàn)證已發(fā)布的基準(zhǔn)。感謝o2!

　　既然要發(fā)布了，啥時(shí)候能瞅瞅o2的demo呢?

　　那o2是今年發(fā)布還是明年呢?

　　不少人還是當(dāng)真了，測(cè)試數(shù)據(jù)有點(diǎn)太扯了，以后還是要看著點(diǎn)的。

　　其實(shí)還是有明白人的，這位老哥就指出來(lái)了，超過(guò)100%是否意味著發(fā)明新的科學(xué)并反駁目前“正確”的答案?言外之意就是，你這個(gè)測(cè)試數(shù)據(jù)有點(diǎn)逆天啊，還帶批判屬性的呢啊~

　　聽(tīng)說(shuō)o2在GSM8K的測(cè)試數(shù)據(jù)是117%。(在嘲諷)

　　我聽(tīng)說(shuō)o2模型可以理解我妻子為什么不開(kāi)心。

　　聽(tīng)說(shuō)o2模型可以疊衣服

　　既然Sam特意提出了GPQA，咱就順帶嘮一嘮這個(gè)干貨吧。GPQA確實(shí)是一個(gè)超難的測(cè)試數(shù)據(jù)集，由各領(lǐng)域?qū)＜揖帉?xiě)了448道問(wèn)題，涵蓋生物、物理和化學(xué)三大學(xué)科，涵蓋高能粒子物理、凝聚態(tài)物理、相對(duì)論力學(xué)、遺傳學(xué)、無(wú)機(jī)化學(xué)等幾十個(gè)子分類。

　　每一道題目的設(shè)計(jì)都非常復(fù)雜，問(wèn)題編寫(xiě)完成后，由同領(lǐng)域的專家進(jìn)行解答和評(píng)估。他們會(huì)審核問(wèn)題是否客觀、準(zhǔn)確且難度足夠高，同時(shí)提供詳細(xì)反饋，包括對(duì)問(wèn)題的理解程度、答案的確定性以及對(duì)問(wèn)題難度的看法等。

　　GPQA數(shù)據(jù)集流程

　　接著問(wèn)題原作者會(huì)根據(jù)審核專家的反饋，對(duì)問(wèn)題進(jìn)行修訂。再由另外一位專家對(duì)修訂后的問(wèn)題進(jìn)行二次審核。最后由其他領(lǐng)域的三位專家來(lái)回答這道題，以驗(yàn)證問(wèn)題準(zhǔn)確性和客觀性。

　　根據(jù)GPQA公布的測(cè)試數(shù)據(jù)顯示，人類博士級(jí)專家的回答平均準(zhǔn)確率為65%，普通人只有34%，并且他們?cè)诨卮疬@些問(wèn)題時(shí)是可以無(wú)限使用互聯(lián)網(wǎng)資源。

　　而GPT-4的準(zhǔn)確率只有39%，Llama-2-70B為28%左右，GPT-3.5-turbo是29%左右，只有OpenAI最新發(fā)布的o1模型達(dá)到了78%，這也是目前唯一在GPQA數(shù)據(jù)集上超過(guò)人類博士的AI模型，可見(jiàn)這個(gè)數(shù)據(jù)集的難度有多高。

　　不得不說(shuō)，Sam確實(shí)是營(yíng)銷鬼才，隨便發(fā)點(diǎn)錯(cuò)誤的消息都能出現(xiàn)裂變式傳播，流量密碼算是讓他拿捏了。