谷歌研究院日前使用自家 BIG-Bench 基準(zhǔn)測(cè)試建立了一項(xiàng)“BIG-Bench Mistake”數(shù)據(jù)集,并利用相關(guān)數(shù)據(jù)集對(duì)市面上流行的語(yǔ)言模型“出錯(cuò)概率”及“糾錯(cuò)能力”進(jìn)行了一系列評(píng)估研究。
谷歌研究人員表示,由于過(guò)去沒(méi)有能夠評(píng)估大語(yǔ)言模型“出錯(cuò)概率”及“自我糾錯(cuò)能力”的數(shù)據(jù)集,因此他們創(chuàng)建了一項(xiàng)名為“BIG-Bench Mistake”的專用基準(zhǔn)數(shù)據(jù)集用于評(píng)估測(cè)試。
據(jù)悉,研究人員首先使用 PaLM 語(yǔ)言模型在自家 BIG-Bench 基準(zhǔn)測(cè)試任務(wù)中運(yùn)行了 5 項(xiàng)任務(wù),之后將生成的“思維鏈(Chain-of-Thought)”軌跡修改加入“邏輯錯(cuò)誤”部分,之后重新丟給模型判斷思維鏈軌跡中哪些地方存在錯(cuò)誤。
為了提升數(shù)據(jù)集準(zhǔn)確程度,谷歌研究人員反復(fù)進(jìn)行上述過(guò)程,最終形成了一項(xiàng)內(nèi)含“255 項(xiàng)邏輯錯(cuò)誤”的“BIG-Bench Mistake”專用基準(zhǔn)數(shù)據(jù)集。
研究人員提到,由于“BIG-Bench Mistake”數(shù)據(jù)集中的邏輯錯(cuò)誤較為“簡(jiǎn)單明確”,因此可以作為一個(gè)良好的測(cè)試標(biāo)準(zhǔn),可協(xié)助語(yǔ)言模型先從簡(jiǎn)單的邏輯錯(cuò)誤開(kāi)始練習(xí),逐步提升辨識(shí)錯(cuò)誤的能力。
研究人員利用該數(shù)據(jù)集對(duì)市面上模型進(jìn)行測(cè)試,發(fā)現(xiàn)雖然絕大多數(shù)語(yǔ)言模型可以識(shí)別在推理過(guò)程中出現(xiàn)的邏輯錯(cuò)誤并進(jìn)行自我修正,但這個(gè)過(guò)程“并不夠理想”,通常需要人工干預(yù)來(lái)糾正模型輸出的內(nèi)容。
從報(bào)告中發(fā)現(xiàn),谷歌聲稱“目前最先進(jìn)的大語(yǔ)言模型”自我糾錯(cuò)能力也相對(duì)有限,在相關(guān)測(cè)試結(jié)果中成績(jī)發(fā)揮最好的模型,也僅僅找出了 52.9% 的邏輯錯(cuò)誤。
谷歌研究人員同時(shí)聲稱,這一 BIG-Bench Mistake 數(shù)據(jù)集有利于改善模型自我糾錯(cuò)能力,經(jīng)過(guò)相關(guān)測(cè)試任務(wù)微調(diào)后的模型,“即便是小型模型表現(xiàn)也通常比零樣本提示的大模型更好”。
據(jù)此,谷歌認(rèn)為在模型糾錯(cuò)方面,可以使用專有小型模型“監(jiān)督”大型模型,相對(duì)于讓大語(yǔ)言模型學(xué)會(huì)“糾正自我錯(cuò)誤”,部署專用于監(jiān)督大模型的小型專用模型有利于改善效率、降低相關(guān) AI 部署成本,并更便于微調(diào)。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請(qǐng)謹(jǐn)慎對(duì)待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。
2024年的Adobe MAX 2024發(fā)布會(huì)上,Adobe推出了最新版本的Adobe Creative Cloud。
奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。
“以前都要去窗口辦,一套流程下來(lái)都要半個(gè)月了,現(xiàn)在方便多了!”打開(kāi)“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來(lái)實(shí)質(zhì)性的幫助,雙十一期間低至2799元,性價(jià)比很高,簡(jiǎn)直是創(chuàng)作者們的首選。
9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會(huì)——工業(yè)互聯(lián)網(wǎng)標(biāo)識(shí)解析專題論壇在沈陽(yáng)成功舉辦。