Google DeepMind 使用大型語(yǔ)言模型解決純數(shù)學(xué)中的著名未解問(wèn)題

　　12 月 15 日消息:Google DeepMind 最近利用一種大型語(yǔ)言模型成功破解了純數(shù)學(xué)中一個(gè)著名的未解問(wèn)題。該團(tuán)隊(duì)在《自然》雜志上發(fā)表的論文中宣稱，這是首次使用大型語(yǔ)言模型發(fā)現(xiàn)長(zhǎng)期科學(xué)難題的解決方案，產(chǎn)生了之前不存在的可驗(yàn)證且有價(jià)值的新信息。Google DeepMind 研究副總裁 Pushmeet Kohli 表示：「這不在訓(xùn)練數(shù)據(jù)中——甚至以前是未知的。」

　　大型語(yǔ)言模型通常以編造事實(shí)而聞名，而不是提供新事實(shí)。Google DeepMind 的新工具 FunSearch 可能改變這一點(diǎn)。它表明，只要適當(dāng)引導(dǎo)，并且舍棄它們提出的大部分內(nèi)容，這些模型確實(shí)可以做出發(fā)現(xiàn)。

　　FunSearch(之所以這樣命名，是因?yàn)樗�搜索�?shù)學(xué)函數(shù)，而不是因?yàn)樗�有�?延續(xù)了 DeepMind 使用 AI 在基礎(chǔ)數(shù)學(xué)和計(jì)算機(jī)科學(xué)領(lǐng)域取得的一系列發(fā)現(xiàn)。首先是 AlphaTensor 找到了一種加快多種不同類型代碼核心計(jì)算的方法，打破了 50 年來(lái)的記錄。然后是 AlphaDev 找到了加快每天使用數(shù)萬(wàn)億次的關(guān)鍵算法的方法。

　　然而，這些工具并沒(méi)有使用大型語(yǔ)言模型。它們都建立在 DeepMind 的游戲 AI AlphaZero 之上，通過(guò)將數(shù)學(xué)問(wèn)題視為圍棋或國(guó)際象棋中的難題來(lái)解決。問(wèn)題是它們局限于自己的領(lǐng)域，如同公司研究員 Bernardino Romera-Paredes 所說(shuō)：「AlphaTensor 擅長(zhǎng)矩陣乘法，但基本上沒(méi)有別的�！�

　　FunSearch 采用了不同的方法。它結(jié)合了一個(gè)稱為 Codey 的大型語(yǔ)言模型(一種在計(jì)算機(jī)代碼上微調(diào)的 Google PaLM 2 版本)和其他系統(tǒng)，后者可以排除不正確或無(wú)意義的答案，并將好的答案重新輸入。

　　Fawzi，Google DeepMind 的研究科學(xué)家說(shuō)：「說(shuō)實(shí)話，我們有假設(shè)，但我們不確切知道為什么這有效。項(xiàng)目開(kāi)始時(shí)，我們不知道這是否會(huì)奏效�！�

　　研究人員首先用 Python(一種流行的編程語(yǔ)言)勾勒出他們想要解決的問(wèn)題，但省略了指定如何解決問(wèn)題的程序行。這就是 FunSearch 介入的地方。它讓 Codey 填補(bǔ)空白——實(shí)際上，提出解決問(wèn)題的代碼建議。

　　然后，第二個(gè)算法檢查并評(píng)分 Codey 提出的內(nèi)容。最佳建議——即使還不正確——被保存并反饋給 Codey，后者再次嘗試完成程序�！冈S多將是無(wú)意義的，一些將是合理的，少數(shù)將是真正有啟發(fā)性的，」Kohli 說(shuō)�！改隳弥�這些真正有啟發(fā)性的內(nèi)容，然后說(shuō)，『好的，拿著這些重復(fù)一遍。』」

　　經(jīng)過(guò)幾百萬(wàn)次建議和幾十次整體過(guò)程的重復(fù)(歷時(shí)幾天)，F(xiàn)unSearch 終于提出了一個(gè)正確且之前未知的解決 cap set 問(wèn)題的代碼，該問(wèn)題涉及尋找某種類型集合的最大尺寸。可以想象在圖表紙上繪制點(diǎn)。cap set 問(wèn)題類似于嘗試確定可以放置多少個(gè)點(diǎn)，而不會(huì)讓其中任何三個(gè)點(diǎn)形成一條直線。

　　這個(gè)問(wèn)題非常細(xì)致，但很重要。數(shù)學(xué)家們甚至不同意如何解決它，更不用說(shuō)解決方案是什么了。(它還與 AlphaTensor 加速的計(jì)算——矩陣乘法——有關(guān)。)加州大學(xué)洛杉磯分校的 Terence Tao，曾獲得多個(gè)數(shù)學(xué)頂級(jí)獎(jiǎng)項(xiàng)，包括菲爾茲獎(jiǎng)，他在 2007 年的博客文章中稱 cap set 問(wèn)題為「我最喜歡的開(kāi)放性問(wèn)題」。

　　Tao 對(duì) FunSearch 能做的事情感到好奇。他說(shuō)：「這是一個(gè)有前途的范例。這是利用大型語(yǔ)言模型的力量的一種有趣方式。」

　　與 AlphaTensor 相比，F(xiàn)unSearch 的一個(gè)主要優(yōu)勢(shì)是，理論上它可以用來(lái)找到一系列問(wèn)題的解決方案。這是因?yàn)樗�產(chǎn)生代碼——生成解決方案的方法，而不是解決方案本身。不同的代碼將解決不同的問(wèn)題。FunSearch 的結(jié)果也更容易理解。Fawzi 說(shuō)，方法通常比它產(chǎn)生的奇怪?jǐn)?shù)學(xué)解決方案更清晰。

　　為了測(cè)試其多功能性，研究人員使用 FunSearch 來(lái)解決另一個(gè)數(shù)學(xué)難題：bin packing 問(wèn)題，該問(wèn)題涉及嘗試將物品盡可能少地裝入箱子中。這對(duì)計(jì)算機(jī)科學(xué)的一系列應(yīng)用很重要，從數(shù)據(jù)中心管理到電子商務(wù)。FunSearch 提出了一種比人類設(shè)計(jì)的方法更快的解決方案。

　　Tao 表示，數(shù)學(xué)家們「仍在努力弄清楚如何最好地將大型語(yǔ)言模型納入我們的研究工作流程，以利用它們的力量同時(shí)減輕它們的缺點(diǎn)。」他說(shuō)：「這當(dāng)然表明了一種可能的前進(jìn)方向�！�