隨著ChatGPT、Midjourney等大模型產(chǎn)品的影響力、應(yīng)用場景越來越多,為了確保輸出的內(nèi)容安全、可靠,對(duì)齊成為開發(fā)人員的關(guān)注重點(diǎn)和難點(diǎn)。
但現(xiàn)在的模型參數(shù)少則幾百億多則上千億,想通過傳統(tǒng)的監(jiān)督式微調(diào)方法來完成對(duì)齊效果往往不理想。
因此,英偉達(dá)的研究人員開源了安全對(duì)齊框架NeMo-Aligner。這是一個(gè)包括人類反饋進(jìn)行強(qiáng)化學(xué)習(xí)(RLHF)、直接偏好優(yōu)化(DPO)、SteerLM和自我對(duì)弈微調(diào)等技術(shù)合集,可幫助開發(fā)人員極大提升模型的安全性能和穩(wěn)定輸出。
下面為大家介紹兩個(gè)效果比較好、常用的NeMo-Aligner對(duì)齊方法。
RLHF
RLHF是NeMo-Aligner框架的核心模塊之一,主要通過人類反饋來引導(dǎo)大模型學(xué)習(xí),使其輸出更符合人類的價(jià)值觀和偏好,同時(shí)采用了近端策略算法(PPO)來優(yōu)化語言模型的行為。
訓(xùn)練過程主要分為三個(gè)階段:初始階段,從預(yù)訓(xùn)練的基礎(chǔ)模型開始,進(jìn)行監(jiān)督微調(diào)。在監(jiān)督微調(diào)中,使用輸入提示和期望的回復(fù)對(duì)基礎(chǔ)模型的參數(shù)進(jìn)行更新,使其盡可能地模仿期望的回復(fù)。這一階段是為了確;A(chǔ)模型能夠生成符合用戶指令的回復(fù)。
獎(jiǎng)勵(lì)模型訓(xùn)練階段,使用一組設(shè)定好的人類偏好數(shù)據(jù),例如,問答的特定輸出格式,來訓(xùn)練一個(gè)獎(jiǎng)勵(lì)模型,以最大化預(yù)測獎(jiǎng)勵(lì)與人類偏好一致的可能性。通常,會(huì)在監(jiān)督微調(diào)的模型之上初始化一個(gè)線性獎(jiǎng)勵(lì)模型頭部,并在其上進(jìn)行訓(xùn)練。
策略優(yōu)化訓(xùn)練,基于訓(xùn)練好的獎(jiǎng)勵(lì)模型,通過PPO進(jìn)行優(yōu)化訓(xùn)練。在訓(xùn)練過程中,使用基于KL散度的正則化項(xiàng),防止策略偏離起始點(diǎn)太遠(yuǎn)并利用獎(jiǎng)勵(lì)模型的盲點(diǎn)。
SteerLM
SteerLM主要通過引導(dǎo)大模型的生成流程來實(shí)現(xiàn)安全對(duì)齊,使用了一種“引導(dǎo)信號(hào)”的指導(dǎo)策略。可將開發(fā)者希望的輸出模式注入到模型的訓(xùn)練中,以引導(dǎo)模型生成更符合預(yù)期的響應(yīng)。
首先,需要準(zhǔn)備一個(gè)包含輸入提示和期望輸出的數(shù)據(jù)集對(duì)。這些輸入提示可以是用戶提供的指令或問題,而期望輸出是模型生成的響應(yīng)。
根據(jù)輸入提示和期望輸出,生成引導(dǎo)信號(hào)。引導(dǎo)信號(hào)可以采用不同的方式生成,例如,使用規(guī)則、基于規(guī)則的策略或者其他的啟發(fā)式方法,可以控制生成文本的風(fēng)格、主題、情感等內(nèi)容。
例如,在多輪AI對(duì)話中,可以指導(dǎo)模型生成符合用戶期望的回答;在文本摘要任務(wù)中,可以指導(dǎo)模型生成更加準(zhǔn)確和有信息量的摘要內(nèi)容;在機(jī)器翻譯任務(wù)中,可以使模型生成更加準(zhǔn)確和流暢的翻譯結(jié)果。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請(qǐng)謹(jǐn)慎對(duì)待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。
2024年的Adobe MAX 2024發(fā)布會(huì)上,Adobe推出了最新版本的Adobe Creative Cloud。
奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。
“以前都要去窗口辦,一套流程下來都要半個(gè)月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實(shí)質(zhì)性的幫助,雙十一期間低至2799元,性價(jià)比很高,簡直是創(chuàng)作者們的首選。
9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會(huì)——工業(yè)互聯(lián)網(wǎng)標(biāo)識(shí)解析專題論壇在沈陽成功舉辦。