英偉達開源大模型對齊框架—NeMo-Aligner

　　隨著ChatGPT、Midjourney等大模型產(chǎn)品的影響力、應用場景越來越多，為了確保輸出的內(nèi)容安全、可靠，對齊成為開發(fā)人員的關注重點和難點。

　　但現(xiàn)在的模型參數(shù)少則幾百億多則上千億，想通過傳統(tǒng)的監(jiān)督式微調(diào)方法來完成對齊效果往往不理想。

　　因此，英偉達的研究人員開源了安全對齊框架NeMo-Aligner。這是一個包括人類反饋進行強化學習(RLHF)、直接偏好優(yōu)化(DPO)、SteerLM和自我對弈微調(diào)等技術合集，可幫助開發(fā)人員極大提升模型的安全性能和穩(wěn)定輸出。

　　下面為大家介紹兩個效果比較好、常用的NeMo-Aligner對齊方法。

　　RLHF

　　RLHF是NeMo-Aligner框架的核心模塊之一，主要通過人類反饋來引導大模型學習，使其輸出更符合人類的價值觀和偏好，同時采用了近端策略算法(PPO)來優(yōu)化語言模型的行為。

　　訓練過程主要分為三個階段:初始階段，從預訓練的基礎模型開始，進行監(jiān)督微調(diào)。在監(jiān)督微調(diào)中，使用輸入提示和期望的回復對基礎模型的參數(shù)進行更新，使其盡可能地模仿期望的回復。這一階段是為了確�；�礎模型能夠生成符合用戶指令的回復。

　　獎勵模型訓練階段，使用一組設定好的人類偏好數(shù)據(jù)，例如，問答的特定輸出格式，來訓練一個獎勵模型，以最大化預測獎勵與人類偏好一致的可能性。通常，會在監(jiān)督微調(diào)的模型之上初始化一個線性獎勵模型頭部，并在其上進行訓練。

　　策略優(yōu)化訓練，基于訓練好的獎勵模型，通過PPO進行優(yōu)化訓練。在訓練過程中，使用基于KL散度的正則化項，防止策略偏離起始點太遠并利用獎勵模型的盲點。

　　SteerLM

　　SteerLM主要通過引導大模型的生成流程來實現(xiàn)安全對齊，使用了一種“引導信號”的指導策略。可將開發(fā)者希望的輸出模式注入到模型的訓練中，以引導模型生成更符合預期的響應。

　　首先，需要準備一個包含輸入提示和期望輸出的數(shù)據(jù)集對。這些輸入提示可以是用戶提供的指令或問題，而期望輸出是模型生成的響應。

　　根據(jù)輸入提示和期望輸出，生成引導信號。引導信號可以采用不同的方式生成，例如，使用規(guī)則、基于規(guī)則的策略或者其他的啟發(fā)式方法，可以控制生成文本的風格、主題、情感等內(nèi)容。

　　例如，在多輪AI對話中，可以指導模型生成符合用戶期望的回答;在文本摘要任務中，可以指導模型生成更加準確和有信息量的摘要內(nèi)容;在機器翻譯任務中，可以使模型生成更加準確和流暢的翻譯結果。