近日,Elicit公司機(jī)器學(xué)習(xí)工程師Charlie George在LangChain博客上發(fā)表文章介紹了他們使用合成數(shù)據(jù)微調(diào)ChatGPT在新聞?wù)蝿?wù)上超越GPT-4的研究成果。
文章提到,盡管GPT-4被公認(rèn)為世界上最強(qiáng)大的語言模型,但其調(diào)用限制、高成本和高延遲也限制了其實(shí)際應(yīng)用。為解決這一問題,一些開發(fā)者轉(zhuǎn)而使用ChatGPT等小模型,但小模型的表現(xiàn)通常不如GPT-4。文章介紹了微調(diào)的思路,即調(diào)整模型參數(shù)以更好地適應(yīng)具體任務(wù),但收集人類標(biāo)注數(shù)據(jù)昂貴且耗時(shí),而傳統(tǒng)評(píng)估指標(biāo)如困惑度也無法準(zhǔn)確反映用戶體驗(yàn)。
為解決數(shù)據(jù)問題,采用了一種合成數(shù)據(jù)生成方法,即使用GPT-4通過鏈?zhǔn)矫芏?CoD)提示逐步改進(jìn)其生成的摘要。然后,使用LangSmith平臺(tái)收集這些改進(jìn)后的摘要作為訓(xùn)練數(shù)據(jù),微調(diào)ChatGPT。
在評(píng)估方面,文章認(rèn)為傳統(tǒng)的BLEU和ROUGE指標(biāo)往往不能準(zhǔn)確捕捉現(xiàn)代語言模型的細(xì)微差異。相比之下,人工評(píng)估雖可靠但耗時(shí)耗力。最佳方案是開發(fā)自動(dòng)化評(píng)估系統(tǒng),但也需要人工驗(yàn)證其有效性。研究者已經(jīng)開發(fā)了與真人高度一致的自動(dòng)化評(píng)估鏈ScoreStringEvalChain和PairwiseStringEvalChain。
說明:經(jīng)過微調(diào)的 ChatGPT 超越了 GPT-4零樣本,并接近帶有 CoD 的 GPT-4
說明:經(jīng)過微調(diào)的 ChatGPT 比 GPT-4零樣本快11倍以上,比帶 CoD 的 GPT-4快33倍
經(jīng)過微調(diào)的 ChatGPT 比 GPT-4零樣本便宜63%,比帶 CoD 的 GPT-4便宜84%
結(jié)果顯示,相比GPT-4零樣本,微調(diào)后的ChatGPT在新聞?wù)蝿?wù)上的表現(xiàn)優(yōu)于前者,幾乎達(dá)到GPT-4鏈?zhǔn)教崾镜乃,但其速度提?1倍,成本降低63%。與零樣本GPT-4相比,微調(diào)ChatGPT在雙樣本評(píng)估中獲勝率達(dá)96%。
分析稱,合成數(shù)據(jù)微調(diào)展現(xiàn)了增強(qiáng)語言模型能力的巨大潛力。LangChain提供了創(chuàng)建復(fù)雜鏈條和遷移到小模型的完美工具。自動(dòng)化評(píng)估為快速可靠地評(píng)估實(shí)際表現(xiàn)提供了有效手段。這為新一代AI應(yīng)用大規(guī)模部署提供了路徑。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請(qǐng)謹(jǐn)慎對(duì)待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。
2024年的Adobe MAX 2024發(fā)布會(huì)上,Adobe推出了最新版本的Adobe Creative Cloud。
奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。
“以前都要去窗口辦,一套流程下來都要半個(gè)月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實(shí)質(zhì)性的幫助,雙十一期間低至2799元,性價(jià)比很高,簡(jiǎn)直是創(chuàng)作者們的首選。
9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會(huì)——工業(yè)互聯(lián)網(wǎng)標(biāo)識(shí)解析專題論壇在沈陽成功舉辦。