本文來自于微信公眾號 量子位 (ID:QbitAI),作者:豐色。
對標GPT-4代碼解釋器,港中大最新研究放了個“大招”:
他們開發(fā)了一個叫做MathCoder的大模型,數學能力直接在競賽級“題庫”Math上超過GPT-4。
做到這一點靠的就是無縫集成代碼的能力——
在遇到數學問題時,它不僅能用自然語言推理,還能自動編寫和執(zhí)行代碼來建模、推導公式與方程。
這樣的工作方式無疑和強大的GPT-4代碼解釋器一樣。
在實際評測中,MathCoder除了超過GPT-4,還順利在MATH和GSM8K兩大數據集上取得了開源LLM中的SOTA(打敗了8月份才誕生的WizardMath)
這個“新王”究竟是如何誕生的?對標GPT-4代碼解釋器
總的來看,港大這項研究為了提高大模型的數學推理能力,學習了GPT-4代碼解釋器的優(yōu)點和工作原理,提出了一種微調開源語言模型的方法。
該方法最終使大模型無縫集成代碼,利用代碼來解決數學問題。
具體而言,他們首先提出了一個可以生成高質量數學題的數據集:MathCodeInstruct。
該數據集由兩部分組成:
種子數據(D0):主要基于GSM8K和MATH,并利用GPT-4收集答案。
插值數據(D1):讓GPT-4基于他們提出的一種叫做“問題插值提示”的方法生成。
如下圖所示:
示例1和2分別來自于GSM8K和MATH,1簡單,2難一些,GPT-4要做的“插值”就是生成比1難但比2更簡單的新問題。
基于以上兩類問題,最終MathCodeInstruct數據集一共收集了8萬道數學題。
如下表所示,這比業(yè)內其他數據集規(guī)模稍小一些:
而與其他數據集相比,它的特點之一是同時彌補了GSM8K和MATH這兩大重要數據集中不足的部分,給出了一些難度范圍更廣的問題,增強了數據集的泛化能力。
特點之二是數據集中的每道題目同時包含基于自然語言推理的部分+基于代碼解決的部分(包括執(zhí)行代碼和代碼輸出結果)。
如下圖所示,這是對上面GPT-4生成的“插值”問題的解決思路:
在數據集準備好以后,團隊便提出了一種定制的監(jiān)督微調和推理方法,最終在Llama-2和Code Llama上微調出了MathCoder。
具體而言,該方法使用特殊的token(<|text|>、<|code|>、<|execution|>)來識別訓練數據集中哪一部分是自然語言、代碼還是結果,讓模型學習生成由這些特殊標記劃分的自然語言和代碼。
在推理期間,該方法還會將動態(tài)執(zhí)行的結果附加到模型的先前預測中。
然后,繼續(xù)基于這個新版本的輸入自回歸預測下一個token,以及最后的執(zhí)行結果。
作者表示,通過這種方式,模型將能夠“看到”執(zhí)行結果,并不斷地繼續(xù)推理。
最終,該方法使微調模型MathCoder以類似GPT-4代碼解釋器的方式運行。
在評測中,MathCoder憑此直接在MATH和GSM8K這倆數據集上取得了45.2%和83.9%的好成績。
該成績證明:
其一,它超過了ChatGPT-3.5和PaLM-2等9個閉源模型,并在以數學競賽題為主的MATH集上超過GPT-4。
其二,它打敗了此前數學領域里最強的開源模型WizardMath,成為新的開源之最。
不過其三,模仿但還未超越,在這倆數據集上,MathCoder還是與GPT-4代碼解釋器(69.7%和97%高分)存在著一定的性能差距。 作者介紹
本研究一共10位作者,除了兩位來自香港城市大學以外,其余均來自香港中文大學。
共同一作一共有6位,分別是:Ke Wang、Houxing Ren、Aojun Zhou、Zimu Lu、Sichun Luo和Weikang Shi。
通訊作者為李鴻升,為港中大電子工程系副教授,同時也就職于上海人工智能研究室。
文章內容僅供閱讀,不構成投資建議,請謹慎對待。投資者據此操作,風險自擔。
近日,德國柏林國際電子消費品展覽會(IFA2024)隆重舉辦。憑借在核心技術、產品設計及應用方面的創(chuàng)新變革,全球領先的智能終端企業(yè)TCL實業(yè)成功斬獲兩項“IFA全球產品設計創(chuàng)新大獎”金獎,有力證明了其在全球市場的強大影響力。
近日,中國家電及消費電子博覽會(AWE 2024)隆重開幕。全球領先的智能終端企業(yè)TCL實業(yè)攜多款創(chuàng)新技術和新品亮相,以敢為精神勇闖技術無人區(qū),斬獲四項AWE 2024艾普蘭大獎。
“以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關材料,僅幾秒鐘,重慶市民曾某的賬戶就打進了21600元。
由世界人工智能大會組委會、上海市經信委、徐匯區(qū)政府、臨港新片區(qū)管委會共同指導,由上海市人工智能行業(yè)協(xié)會聯(lián)合上海人工智能實驗室、上海臨港經濟發(fā)展(集團)有限公司、開放原子開源基金會主辦的“2024全球開發(fā)者先鋒大會”,將于2024年3月23日至24日舉辦。