OpenAI發(fā)布AI智能體的評(píng)測(cè)集：MLE-bench

　　在近期的一項(xiàng)研究中，OpenAI研究團(tuán)隊(duì)推出了名為 MLE-bench 的全新基準(zhǔn)測(cè)試，旨在評(píng)估AI智能體在機(jī)器學(xué)習(xí)工程方面的表現(xiàn)。

　　這項(xiàng)研究特別關(guān)注75個(gè)來自 Kaggle 的機(jī)器學(xué)習(xí)工程相關(guān)競(jìng)賽，旨在測(cè)試代理在現(xiàn)實(shí)世界中所需的多種技能，包括模型訓(xùn)練、數(shù)據(jù)集準(zhǔn)備和實(shí)驗(yàn)運(yùn)行等。

　　為了更好地進(jìn)行評(píng)估，研究團(tuán)隊(duì)使用了 Kaggle 公開排行榜的基礎(chǔ)數(shù)據(jù)，確立了每個(gè)競(jìng)賽的人類基準(zhǔn)。在實(shí)驗(yàn)中，他們利用開源的智能體架構(gòu)，對(duì)幾種前沿語言模型進(jìn)行了測(cè)試。結(jié)果顯示，最佳表現(xiàn)的配置 ——OpenAI 的 o1-preview 與 AIDE 架構(gòu)結(jié)合使用 —— 在16.9% 的競(jìng)賽中，達(dá)到了 Kaggle 銅牌的水平。

　　不僅如此，研究團(tuán)隊(duì)還對(duì) AI 智能體的資源擴(kuò)展形式進(jìn)行了深入探討，并研究了預(yù)訓(xùn)練對(duì)結(jié)果的污染影響。他們強(qiáng)調(diào)，這些研究結(jié)果為今后進(jìn)一步理解 AI 智能體在機(jī)器學(xué)習(xí)工程方面的能力提供了基礎(chǔ)。為了促進(jìn)未來的研究，團(tuán)隊(duì)還將基準(zhǔn)測(cè)試的代碼進(jìn)行了開源，供其他研究人員使用。

　　這項(xiàng)研究的推出，標(biāo)志著機(jī)器學(xué)習(xí)領(lǐng)域的一次重要進(jìn)展，特別是在如何評(píng)估和提升 AI 智能體的工程能力方面�？茖W(xué)家們希望，通過 MLE-bench，可以為 AI 技術(shù)的發(fā)展提供更科學(xué)的評(píng)估標(biāo)準(zhǔn)和實(shí)踐依據(jù)。