Google DeepMind 使用大型語言模型解決純數(shù)學(xué)中的著名未解問題

　　12 月 15 日消息:Google DeepMind 最近利用一種大型語言模型成功破解了純數(shù)學(xué)中一個(gè)著名的未解問題。該團(tuán)隊(duì)在《自然》雜志上發(fā)表的論文中宣稱，這是首次使用大型語言模型發(fā)現(xiàn)長(zhǎng)期科學(xué)難題的解決方案，產(chǎn)生了之前不存在的可驗(yàn)證且有價(jià)值的新信息。Google DeepMind 研究副總裁 Pushmeet Kohli 表示：「這不在訓(xùn)練數(shù)據(jù)中——甚至以前是未知的�！�

　　大型語言模型通常以編造事實(shí)而聞名，而不是提供新事實(shí)。Google DeepMind 的新工具 FunSearch 可能改變這一點(diǎn)。它表明，只要適當(dāng)引導(dǎo)，并且舍棄它們提出的大部分內(nèi)容，這些模型確實(shí)可以做出發(fā)現(xiàn)。

　　FunSearch(之所以這樣命名，是因?yàn)樗�搜索�?shù)學(xué)函數(shù)，而不是因?yàn)樗�有�?延續(xù)了 DeepMind 使用 AI 在基礎(chǔ)數(shù)學(xué)和計(jì)算機(jī)科學(xué)領(lǐng)域取得的一系列發(fā)現(xiàn)。首先是 AlphaTensor 找到了一種加快多種不同類型代碼核心計(jì)算的方法，打破了 50 年來的記錄。然后是 AlphaDev 找到了加快每天使用數(shù)萬億次的關(guān)鍵算法的方法。

　　然而，這些工具并沒有使用大型語言模型。它們都建立在 DeepMind 的游戲 AI AlphaZero 之上，通過將數(shù)學(xué)問題視為圍棋或國際象棋中的難題來解決。問題是它們局限于自己的領(lǐng)域，如同公司研究員 Bernardino Romera-Paredes 所說：「AlphaTensor 擅長(zhǎng)矩陣乘法，但基本上沒有別的。」

　　FunSearch 采用了不同的方法。它結(jié)合了一個(gè)稱為 Codey 的大型語言模型(一種在計(jì)算機(jī)代碼上微調(diào)的 Google PaLM 2 版本)和其他系統(tǒng)，后者可以排除不正確或無意義的答案，并將好的答案重新輸入。

　　Fawzi，Google DeepMind 的研究科學(xué)家說：「說實(shí)話，我們有假設(shè)，但我們不確切知道為什么這有效。項(xiàng)目開始時(shí)，我們不知道這是否會(huì)奏效。」

　　研究人員首先用 Python(一種流行的編程語言)勾勒出他們想要解決的問題，但省略了指定如何解決問題的程序行。這就是 FunSearch 介入的地方。它讓 Codey 填補(bǔ)空白——實(shí)際上，提出解決問題的代碼建議。

　　然后，第二個(gè)算法檢查并評(píng)分 Codey 提出的內(nèi)容。最佳建議——即使還不正確——被保存并反饋給 Codey，后者再次嘗試完成程序�！冈S多將是無意義的，一些將是合理的，少數(shù)將是真正有啟發(fā)性的，」Kohli 說�！改隳弥�這些真正有啟發(fā)性的內(nèi)容，然后說，『好的，拿著這些重復(fù)一遍�！弧�

　　經(jīng)過幾百萬次建議和幾十次整體過程的重復(fù)(歷時(shí)幾天)，F(xiàn)unSearch 終于提出了一個(gè)正確且之前未知的解決 cap set 問題的代碼，該問題涉及尋找某種類型集合的最大尺寸�？梢韵胂笤趫D表紙上繪制點(diǎn)。cap set 問題類似于嘗試確定可以放置多少個(gè)點(diǎn)，而不會(huì)讓其中任何三個(gè)點(diǎn)形成一條直線。

　　這個(gè)問題非常細(xì)致，但很重要。數(shù)學(xué)家們甚至不同意如何解決它，更不用說解決方案是什么了。(它還與 AlphaTensor 加速的計(jì)算——矩陣乘法——有關(guān)。)加州大學(xué)洛杉磯分校的 Terence Tao，曾獲得多個(gè)數(shù)學(xué)頂級(jí)獎(jiǎng)項(xiàng)，包括菲爾茲獎(jiǎng)，他在 2007 年的博客文章中稱 cap set 問題為「我最喜歡的開放性問題」。

　　Tao 對(duì) FunSearch 能做的事情感到好奇。他說：「這是一個(gè)有前途的范例。這是利用大型語言模型的力量的一種有趣方式�！�

　　與 AlphaTensor 相比，F(xiàn)unSearch 的一個(gè)主要優(yōu)勢(shì)是，理論上它可以用來找到一系列問題的解決方案。這是因?yàn)樗�產(chǎn)生代碼——生成解決方案的方法，而不是解決方案本身。不同的代碼將解決不同的問題。FunSearch 的結(jié)果也更容易理解。Fawzi 說，方法通常比它產(chǎn)生的奇怪?jǐn)?shù)學(xué)解決方案更清晰。

　　為了測(cè)試其多功能性，研究人員使用 FunSearch 來解決另一個(gè)數(shù)學(xué)難題：bin packing 問題，該問題涉及嘗試將物品盡可能少地裝入箱子中。這對(duì)計(jì)算機(jī)科學(xué)的一系列應(yīng)用很重要，從數(shù)據(jù)中心管理到電子商務(wù)。FunSearch 提出了一種比人類設(shè)計(jì)的方法更快的解決方案。

　　Tao 表示，數(shù)學(xué)家們「仍在努力弄清楚如何最好地將大型語言模型納入我們的研究工作流程，以利用它們的力量同時(shí)減輕它們的缺點(diǎn)�！顾�說：「這當(dāng)然表明了一種可能的前進(jìn)方向。」