本文來(lái)自于微信公眾號(hào) 量子位 (ID:QbitAI),作者:豐色。
對(duì)標(biāo)GPT-4代碼解釋器,港中大最新研究放了個(gè)“大招”:
他們開(kāi)發(fā)了一個(gè)叫做MathCoder的大模型,數(shù)學(xué)能力直接在競(jìng)賽級(jí)“題庫(kù)”Math上超過(guò)GPT-4。
做到這一點(diǎn)靠的就是無(wú)縫集成代碼的能力——
在遇到數(shù)學(xué)問(wèn)題時(shí),它不僅能用自然語(yǔ)言推理,還能自動(dòng)編寫(xiě)和執(zhí)行代碼來(lái)建模、推導(dǎo)公式與方程。
這樣的工作方式無(wú)疑和強(qiáng)大的GPT-4代碼解釋器一樣。
在實(shí)際評(píng)測(cè)中,MathCoder除了超過(guò)GPT-4,還順利在MATH和GSM8K兩大數(shù)據(jù)集上取得了開(kāi)源LLM中的SOTA(打敗了8月份才誕生的WizardMath)
這個(gè)“新王”究竟是如何誕生的?對(duì)標(biāo)GPT-4代碼解釋器
總的來(lái)看,港大這項(xiàng)研究為了提高大模型的數(shù)學(xué)推理能力,學(xué)習(xí)了GPT-4代碼解釋器的優(yōu)點(diǎn)和工作原理,提出了一種微調(diào)開(kāi)源語(yǔ)言模型的方法。
該方法最終使大模型無(wú)縫集成代碼,利用代碼來(lái)解決數(shù)學(xué)問(wèn)題。
具體而言,他們首先提出了一個(gè)可以生成高質(zhì)量數(shù)學(xué)題的數(shù)據(jù)集:MathCodeInstruct。
該數(shù)據(jù)集由兩部分組成:
種子數(shù)據(jù)(D0):主要基于GSM8K和MATH,并利用GPT-4收集答案。
插值數(shù)據(jù)(D1):讓GPT-4基于他們提出的一種叫做“問(wèn)題插值提示”的方法生成。
如下圖所示:
示例1和2分別來(lái)自于GSM8K和MATH,1簡(jiǎn)單,2難一些,GPT-4要做的“插值”就是生成比1難但比2更簡(jiǎn)單的新問(wèn)題。
基于以上兩類問(wèn)題,最終MathCodeInstruct數(shù)據(jù)集一共收集了8萬(wàn)道數(shù)學(xué)題。
如下表所示,這比業(yè)內(nèi)其他數(shù)據(jù)集規(guī)模稍小一些:
而與其他數(shù)據(jù)集相比,它的特點(diǎn)之一是同時(shí)彌補(bǔ)了GSM8K和MATH這兩大重要數(shù)據(jù)集中不足的部分,給出了一些難度范圍更廣的問(wèn)題,增強(qiáng)了數(shù)據(jù)集的泛化能力。
特點(diǎn)之二是數(shù)據(jù)集中的每道題目同時(shí)包含基于自然語(yǔ)言推理的部分+基于代碼解決的部分(包括執(zhí)行代碼和代碼輸出結(jié)果)。
如下圖所示,這是對(duì)上面GPT-4生成的“插值”問(wèn)題的解決思路:
在數(shù)據(jù)集準(zhǔn)備好以后,團(tuán)隊(duì)便提出了一種定制的監(jiān)督微調(diào)和推理方法,最終在Llama-2和Code Llama上微調(diào)出了MathCoder。
具體而言,該方法使用特殊的token(<|text|>、<|code|>、<|execution|>)來(lái)識(shí)別訓(xùn)練數(shù)據(jù)集中哪一部分是自然語(yǔ)言、代碼還是結(jié)果,讓模型學(xué)習(xí)生成由這些特殊標(biāo)記劃分的自然語(yǔ)言和代碼。
在推理期間,該方法還會(huì)將動(dòng)態(tài)執(zhí)行的結(jié)果附加到模型的先前預(yù)測(cè)中。
然后,繼續(xù)基于這個(gè)新版本的輸入自回歸預(yù)測(cè)下一個(gè)token,以及最后的執(zhí)行結(jié)果。
作者表示,通過(guò)這種方式,模型將能夠“看到”執(zhí)行結(jié)果,并不斷地繼續(xù)推理。
最終,該方法使微調(diào)模型MathCoder以類似GPT-4代碼解釋器的方式運(yùn)行。
在評(píng)測(cè)中,MathCoder憑此直接在MATH和GSM8K這倆數(shù)據(jù)集上取得了45.2%和83.9%的好成績(jī)。
該成績(jī)證明:
其一,它超過(guò)了ChatGPT-3.5和PaLM-2等9個(gè)閉源模型,并在以數(shù)學(xué)競(jìng)賽題為主的MATH集上超過(guò)GPT-4。
其二,它打敗了此前數(shù)學(xué)領(lǐng)域里最強(qiáng)的開(kāi)源模型WizardMath,成為新的開(kāi)源之最。
不過(guò)其三,模仿但還未超越,在這倆數(shù)據(jù)集上,MathCoder還是與GPT-4代碼解釋器(69.7%和97%高分)存在著一定的性能差距。 作者介紹
本研究一共10位作者,除了兩位來(lái)自香港城市大學(xué)以外,其余均來(lái)自香港中文大學(xué)。
共同一作一共有6位,分別是:Ke Wang、Houxing Ren、Aojun Zhou、Zimu Lu、Sichun Luo和Weikang Shi。
通訊作者為李鴻升,為港中大電子工程系副教授,同時(shí)也就職于上海人工智能研究室。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請(qǐng)謹(jǐn)慎對(duì)待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。
2024年的Adobe MAX 2024發(fā)布會(huì)上,Adobe推出了最新版本的Adobe Creative Cloud。
奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。
“以前都要去窗口辦,一套流程下來(lái)都要半個(gè)月了,現(xiàn)在方便多了!”打開(kāi)“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來(lái)實(shí)質(zhì)性的幫助,雙十一期間低至2799元,性價(jià)比很高,簡(jiǎn)直是創(chuàng)作者們的首選。
9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會(huì)——工業(yè)互聯(lián)網(wǎng)標(biāo)識(shí)解析專題論壇在沈陽(yáng)成功舉辦。