“客服來電”有詐?抖音客服上線“驗(yàn)證助手”助用戶識(shí)別詐騙OpenAI新模型GPT-5研發(fā)未達(dá)預(yù)期:成本高昂 效果不佳曝天馬打入果鏈:為蘋果HomePod供應(yīng)LCD屏 每塊屏僅10美元曝OPPO或首發(fā)新款天璣次旗艦芯片 兩大子品牌Q2發(fā)力諾基亞攜手阿聯(lián)酋運(yùn)營(yíng)商e&,展示全球首個(gè)固網(wǎng)游戲端到端網(wǎng)絡(luò)切片方案零下25℃制熱26℃!海爾水暖通黑科技亮相冰雪大世界三星沒放棄曲面屏開發(fā)!最新專利曝光暗示有望回歸三大運(yùn)營(yíng)商11月成績(jī)單:用戶數(shù)據(jù)增幅放緩打造下一個(gè)英偉達(dá),孫正義的2026芯片計(jì)劃曝光瞭望2025全球6G技術(shù)發(fā)展趨勢(shì)AI時(shí)代云安全新范式,暢捷通智能守護(hù)小微企業(yè)安全上云百川智能發(fā)布全鏈路領(lǐng)域增強(qiáng)金融大模型 Baichuan4-Finance年末家電消費(fèi)觀察:品質(zhì)生活類產(chǎn)品熱賣,將持續(xù)迎來剛需式普及?GPT-5研發(fā)受阻:OpenAI 新一代模型難見突破性進(jìn)展新一代語言模型ModernBERT發(fā)布,RAG等任務(wù)處理速度快四倍、成本低新研究顯示:Anthropic 的 Claude AI 在合作能力上領(lǐng)先于 OpenAI 和谷歌模型谷歌向投資者保證人工智能本月將迎來“驚人”表現(xiàn)多模態(tài)大模型引爆應(yīng)用場(chǎng)景 階躍星辰完成數(shù)億美元融資星動(dòng)紀(jì)元發(fā)布端到端原生機(jī)器人大模型ERA-42 實(shí)現(xiàn)機(jī)器人復(fù)雜場(chǎng)景操作免費(fèi)模式強(qiáng)攻下,快手、抖音用“短劇VIP”反擊?
  • 首頁 > 產(chǎn)經(jīng)新聞?lì)l道 > 業(yè)界新聞

    OpenAI發(fā)布PVG:用小模型驗(yàn)證大模型輸出,解決“黑盒”難題

    2024年07月18日 11:11:58   來源:AIGC開放社區(qū)公眾號(hào)

      7月18日凌晨,OpenAI在官網(wǎng)發(fā)布了最新技術(shù)研究——Prover-Verifier-Games。

      隨著ChatGPT在法律、金融、營(yíng)銷等領(lǐng)域的廣泛使用,確保模型的安全、準(zhǔn)確輸出同時(shí)被很好理解變得非常重要。但由于神經(jīng)網(wǎng)絡(luò)的復(fù)雜和多變性,我們根本無法驗(yàn)證其生成內(nèi)容的準(zhǔn)確性,這也就會(huì)出現(xiàn)輸出“黑盒”的情況。

      為了解決這個(gè)難題,OpenAI提出了全新訓(xùn)練框架Prover-Verifier Games(簡(jiǎn)稱“PVG”),例如,用GPT-3這樣的小模型來驗(yàn)證、監(jiān)督,GPT-4大模型的輸出,從而提升輸出準(zhǔn)確率以及可控性。

      其實(shí)PVG技術(shù)概念早在2021年8月的一篇論文中就被提出來,OpenAI也正是受此靈感啟發(fā)。這是一種基于博弈論的訓(xùn)練方法,通過模擬證明者和驗(yàn)證者之間的互動(dòng),提高模型的輸出質(zhì)量。

      在這個(gè)機(jī)制中, Prover(證明者)的任務(wù)就是生成內(nèi)容,而Verifier(驗(yàn)證者)的任務(wù)就是判斷這些內(nèi)容是否正確。

      PVG模塊的核心思想是通過多輪迭代訓(xùn)練,來提升證明者和驗(yàn)證者的整體性能。在每一輪訓(xùn)練中,驗(yàn)證者首先使用監(jiān)督學(xué)習(xí)來預(yù)測(cè)從之前輪次的證明者中采樣的內(nèi)容的正確性。

      這樣做的目的是讓驗(yàn)證者學(xué)會(huì)如何從大量的內(nèi)容中識(shí)別出正確的答案。隨后,證明者通過強(qiáng)化學(xué)習(xí)來優(yōu)化其生成的內(nèi)容,使其不僅正確,還能夠說服驗(yàn)證者來接受這些內(nèi)容。

      在驗(yàn)證的過程中,證明者和驗(yàn)證者的角色是相互依賴的。證明者需要生成能夠說服驗(yàn)證者的內(nèi)容,而驗(yàn)證者則需要具備足夠的判斷力來識(shí)別出正確的內(nèi)容

      為了進(jìn)一步提升效率性,OpenAI在此基礎(chǔ)之上又設(shè)計(jì)了兩種強(qiáng)化類型的證明者,有用的證明者(Helpful prover)和狡猾的證明者(Sneaky prover)。

      有用的證明者的目標(biāo)是生成正確且有說服力的內(nèi)容。它通過優(yōu)化其生成的內(nèi)容,使其能夠被驗(yàn)證者接受。

      而狡猾的證明者則試圖生成錯(cuò)誤但同樣有說服力的內(nèi)容,以此來欺騙驗(yàn)證者。這種設(shè)計(jì)不僅增加了訓(xùn)練的難度,也使得驗(yàn)證者必須具備更高的判斷力和魯棒性。

      在訓(xùn)練PVG時(shí),每輪訓(xùn)練都包括驗(yàn)證者和證明者的優(yōu)化。在每一輪中,驗(yàn)證者首先使用監(jiān)督學(xué)習(xí)來預(yù)測(cè)內(nèi)容的正確性,幫助驗(yàn)證者學(xué)會(huì)如何從大量的內(nèi)容中識(shí)別出正確的答案。使證明者通過強(qiáng)化學(xué)習(xí)來優(yōu)化其生成的內(nèi)容。

      例如,當(dāng)用戶提出問題“肖娜的父親是肖娜的5倍。肖娜目前的年齡是阿莉亞的3倍。如果阿莉亞3歲,肖娜的父親有多大?”

      GPT-4的輸出為45歲。

      而驗(yàn)證者模型GPT-3需要確定阿莉亞的年齡,然后根據(jù)阿莉亞的年齡計(jì)算出肖娜的年齡,最后再根據(jù)肖娜的年齡計(jì)算出肖娜父親的年齡,整個(gè)過程需要多輪驗(yàn)證。

      此外,在訓(xùn)練過程中,OpenAI還引入了一種名為“可檢查性訓(xùn)練”(checkability training)的方法。

      通過交替訓(xùn)練驗(yàn)證器和證明者模型,從而驗(yàn)證使用監(jiān)督學(xué)習(xí)來預(yù)測(cè)從之前輪次的證明者中采樣的解決方案的正確性。證明者則使用強(qiáng)化學(xué)習(xí),根據(jù)當(dāng)前輪次驗(yàn)證器的接受度和解決方案的正確性來進(jìn)行持續(xù)優(yōu)化。

      研究人員表示,隨著訓(xùn)練輪次的增加,驗(yàn)證者的健全性逐漸提升,表現(xiàn)為對(duì)狡猾論證者生成的錯(cuò)誤解決方案的抵抗力增強(qiáng)。同時(shí),有益論證者生成的解決方案也變得更清晰,更易于被人類理解。

      不過需要注意的是,在訓(xùn)練驗(yàn)證者模型時(shí),需要大量真實(shí)、準(zhǔn)確的標(biāo)簽數(shù)據(jù),以提升其辨別真假的能力。也就是說,如果使用的驗(yàn)證模型存在偏差,那么驗(yàn)證的內(nèi)容還是會(huì)出現(xiàn)非法輸出的可能。

      文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請(qǐng)謹(jǐn)慎對(duì)待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。

    即時(shí)

    新聞

    明火炊具市場(chǎng):三季度健康屬性貫穿全類目

    奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。

    企業(yè)IT

    重慶創(chuàng)新公積金應(yīng)用,“區(qū)塊鏈+政務(wù)服務(wù)”顯成效

    “以前都要去窗口辦,一套流程下來都要半個(gè)月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。

    3C消費(fèi)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,高能實(shí)力,創(chuàng)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實(shí)質(zhì)性的幫助,雙十一期間低至2799元,性價(jià)比很高,簡(jiǎn)直是創(chuàng)作者們的首選。

    研究

    中國(guó)信通院羅松:深度解讀《工業(yè)互聯(lián)網(wǎng)標(biāo)識(shí)解析體系

    9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會(huì)——工業(yè)互聯(lián)網(wǎng)標(biāo)識(shí)解析專題論壇在沈陽成功舉辦。