首個(gè)AI Kaggle特級(jí)大師誕生，OpenAI的o1-preview奪7金封王

　　科技媒體 The Decoder 昨日(10 月 11 日)發(fā)布博文，報(bào)道稱 OpenAI 公司推出 MLE-bench 新基準(zhǔn)，旨在評(píng)估 AI 智能體在開發(fā)機(jī)器學(xué)習(xí)解決方案方面的能力。

　　該基準(zhǔn)包括 75 個(gè) Kaggle 競(jìng)賽，旨在衡量自主 AI 系統(tǒng)在機(jī)器學(xué)習(xí)工程中的進(jìn)展。這些競(jìng)賽涵蓋了多個(gè)領(lǐng)域，包括自然語(yǔ)言處理、計(jì)算機(jī)視覺(jué)和信號(hào)處理等等。

　　注：Kaggle 是一個(gè)非常受歡迎的平臺(tái)，專注于數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)的在線比賽。Kaggle 提供各種類型的比賽，包括數(shù)據(jù)預(yù)測(cè)、圖像分類、自然語(yǔ)言處理等，適合不同技能水平的參與者。

　　在 Kaggle 的進(jìn)階系統(tǒng)中，“Novice”(新手)、“Contributor”(貢獻(xiàn)者)、“Expert”(專家)、“Master”(大師)和 "Grandmaster"(特級(jí)大師)是不同的績(jī)效層級(jí)，用于衡量和識(shí)別數(shù)據(jù)科學(xué)家在 Kaggle 平臺(tái)上的技能水平和成就。

　　許多任務(wù)具有現(xiàn)實(shí)世界的應(yīng)用，例如預(yù)測(cè) COVID-19 mRNA 疫苗降解或解碼古代卷軸等。

　　MLE-bench 專注于兩個(gè)關(guān)鍵領(lǐng)域：

　　選擇具有挑戰(zhàn)性的任務(wù)：這些任務(wù)代表了當(dāng)前機(jī)器學(xué)習(xí)的發(fā)展水平。

　　比較 AI 與人類的表現(xiàn)：通過(guò)對(duì)比，評(píng)估 AI 在特定任務(wù)中的能力。

　　OpenAI 在 MLE-bench 上測(cè)試了多個(gè) AI 模型和智能體框架，使用 AIDE 框架的 o1-preview 模型表現(xiàn)最佳，在 16.9% 的比賽中至少獲得了一枚銅牌，該結(jié)果超越了 Anthropic 的 Claude 3.5 Sonnet。

　　獲得 5 金即可評(píng)上 "Grandmaster" 特級(jí)大師，而 o1-preview 模型在 MLE-bench 測(cè)試中獲得了 7 枚金牌。

　　OpenAI 承認(rèn) MLE-bench 也有局限性，并未涵蓋 AI 研究與開發(fā)的所有方面，主要集中在具有明確問(wèn)題和簡(jiǎn)單評(píng)估指標(biāo)的任務(wù)上。

　　MLE-bench 基準(zhǔn)現(xiàn)已在 GitHub 上發(fā)布，OpenAI 希望通過(guò)這一工具，推動(dòng) AI 在機(jī)器學(xué)習(xí)領(lǐng)域的進(jìn)一步發(fā)展。