7月18日凌晨,OpenAI在官網(wǎng)發(fā)布了最新技術(shù)研究——Prover-Verifier-Games。
隨著ChatGPT在法律、金融、營(yíng)銷(xiāo)等領(lǐng)域的廣泛使用,確保模型的安全、準(zhǔn)確輸出同時(shí)被很好理解變得非常重要。但由于神經(jīng)網(wǎng)絡(luò)的復(fù)雜和多變性,我們根本無(wú)法驗(yàn)證其生成內(nèi)容的準(zhǔn)確性,這也就會(huì)出現(xiàn)輸出“黑盒”的情況。
為了解決這個(gè)難題,OpenAI提出了全新訓(xùn)練框架Prover-Verifier Games(簡(jiǎn)稱(chēng)“PVG”),例如,用GPT-3這樣的小模型來(lái)驗(yàn)證、監(jiān)督,GPT-4大模型的輸出,從而提升輸出準(zhǔn)確率以及可控性。
其實(shí)PVG技術(shù)概念早在2021年8月的一篇論文中就被提出來(lái),OpenAI也正是受此靈感啟發(fā)。這是一種基于博弈論的訓(xùn)練方法,通過(guò)模擬證明者和驗(yàn)證者之間的互動(dòng),提高模型的輸出質(zhì)量。
在這個(gè)機(jī)制中, Prover(證明者)的任務(wù)就是生成內(nèi)容,而Verifier(驗(yàn)證者)的任務(wù)就是判斷這些內(nèi)容是否正確。
PVG模塊的核心思想是通過(guò)多輪迭代訓(xùn)練,來(lái)提升證明者和驗(yàn)證者的整體性能。在每一輪訓(xùn)練中,驗(yàn)證者首先使用監(jiān)督學(xué)習(xí)來(lái)預(yù)測(cè)從之前輪次的證明者中采樣的內(nèi)容的正確性。
這樣做的目的是讓驗(yàn)證者學(xué)會(huì)如何從大量的內(nèi)容中識(shí)別出正確的答案。隨后,證明者通過(guò)強(qiáng)化學(xué)習(xí)來(lái)優(yōu)化其生成的內(nèi)容,使其不僅正確,還能夠說(shuō)服驗(yàn)證者來(lái)接受這些內(nèi)容。
在驗(yàn)證的過(guò)程中,證明者和驗(yàn)證者的角色是相互依賴(lài)的。證明者需要生成能夠說(shuō)服驗(yàn)證者的內(nèi)容,而驗(yàn)證者則需要具備足夠的判斷力來(lái)識(shí)別出正確的內(nèi)容。
為了進(jìn)一步提升效率性,OpenAI在此基礎(chǔ)之上又設(shè)計(jì)了兩種強(qiáng)化類(lèi)型的證明者,有用的證明者(Helpful prover)和狡猾的證明者(Sneaky prover)。
有用的證明者的目標(biāo)是生成正確且有說(shuō)服力的內(nèi)容。它通過(guò)優(yōu)化其生成的內(nèi)容,使其能夠被驗(yàn)證者接受。
而狡猾的證明者則試圖生成錯(cuò)誤但同樣有說(shuō)服力的內(nèi)容,以此來(lái)欺騙驗(yàn)證者。這種設(shè)計(jì)不僅增加了訓(xùn)練的難度,也使得驗(yàn)證者必須具備更高的判斷力和魯棒性。
在訓(xùn)練PVG時(shí),每輪訓(xùn)練都包括驗(yàn)證者和證明者的優(yōu)化。在每一輪中,驗(yàn)證者首先使用監(jiān)督學(xué)習(xí)來(lái)預(yù)測(cè)內(nèi)容的正確性,幫助驗(yàn)證者學(xué)會(huì)如何從大量的內(nèi)容中識(shí)別出正確的答案。使證明者通過(guò)強(qiáng)化學(xué)習(xí)來(lái)優(yōu)化其生成的內(nèi)容。
例如,當(dāng)用戶提出問(wèn)題“肖娜的父親是肖娜的5倍。肖娜目前的年齡是阿莉亞的3倍。如果阿莉亞3歲,肖娜的父親有多大?”
GPT-4的輸出為45歲。
而驗(yàn)證者模型GPT-3需要確定阿莉亞的年齡,然后根據(jù)阿莉亞的年齡計(jì)算出肖娜的年齡,最后再根據(jù)肖娜的年齡計(jì)算出肖娜父親的年齡,整個(gè)過(guò)程需要多輪驗(yàn)證。
此外,在訓(xùn)練過(guò)程中,OpenAI還引入了一種名為“可檢查性訓(xùn)練”(checkability training)的方法。
通過(guò)交替訓(xùn)練驗(yàn)證器和證明者模型,從而驗(yàn)證使用監(jiān)督學(xué)習(xí)來(lái)預(yù)測(cè)從之前輪次的證明者中采樣的解決方案的正確性。證明者則使用強(qiáng)化學(xué)習(xí),根據(jù)當(dāng)前輪次驗(yàn)證器的接受度和解決方案的正確性來(lái)進(jìn)行持續(xù)優(yōu)化。
研究人員表示,隨著訓(xùn)練輪次的增加,驗(yàn)證者的健全性逐漸提升,表現(xiàn)為對(duì)狡猾論證者生成的錯(cuò)誤解決方案的抵抗力增強(qiáng)。同時(shí),有益論證者生成的解決方案也變得更清晰,更易于被人類(lèi)理解。
不過(guò)需要注意的是,在訓(xùn)練驗(yàn)證者模型時(shí),需要大量真實(shí)、準(zhǔn)確的標(biāo)簽數(shù)據(jù),以提升其辨別真假的能力。也就是說(shuō),如果使用的驗(yàn)證模型存在偏差,那么驗(yàn)證的內(nèi)容還是會(huì)出現(xiàn)非法輸出的可能。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請(qǐng)謹(jǐn)慎對(duì)待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。
近日,德國(guó)柏林國(guó)際電子消費(fèi)品展覽會(huì)(IFA2024)隆重舉辦。憑借在核心技術(shù)、產(chǎn)品設(shè)計(jì)及應(yīng)用方面的創(chuàng)新變革,全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)成功斬獲兩項(xiàng)“IFA全球產(chǎn)品設(shè)計(jì)創(chuàng)新大獎(jiǎng)”金獎(jiǎng),有力證明了其在全球市場(chǎng)的強(qiáng)大影響力。
近日,中國(guó)家電及消費(fèi)電子博覽會(huì)(AWE 2024)隆重開(kāi)幕。全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)攜多款創(chuàng)新技術(shù)和新品亮相,以敢為精神勇闖技術(shù)無(wú)人區(qū),斬獲四項(xiàng)AWE 2024艾普蘭大獎(jiǎng)。
“以前都要去窗口辦,一套流程下來(lái)都要半個(gè)月了,現(xiàn)在方便多了!”打開(kāi)“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
由世界人工智能大會(huì)組委會(huì)、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會(huì)共同指導(dǎo),由上海市人工智能行業(yè)協(xié)會(huì)聯(lián)合上海人工智能實(shí)驗(yàn)室、上海臨港經(jīng)濟(jì)發(fā)展(集團(tuán))有限公司、開(kāi)放原子開(kāi)源基金會(huì)主辦的“2024全球開(kāi)發(fā)者先鋒大會(huì)”,將于2024年3月23日至24日舉辦。