大模型開山鼻祖！InstructGPT發(fā)布兩周年了

　　1月29日 消息:今天是InstructGPT發(fā)布兩周年的紀(jì)念日，它是現(xiàn)代大語言模型的開山鼻祖。Jim Fan介紹了InstructGPT的重要性并且說了幾條關(guān)于InstructGPT非常有意思的點(diǎn)。還展示了InstructGPT中非常經(jīng)典的三步LLM訓(xùn)練方法的圖片，我也順便讓GPT-4解釋了一下也順便放在下面。

　　InstructGPT 開創(chuàng)了一個(gè)經(jīng)典的模型訓(xùn)練方法:先進(jìn)行預(yù)訓(xùn)練，然后是監(jiān)督式微調(diào)，最后是基于強(qiáng)化學(xué)習(xí)的人類反饋(Reinforcement Learning from Human Feedback， RLHF)。這個(gè)策略至今仍被廣泛采用，雖然有些許變化，比如 DPO 策略。InstructGPT 可能是 OpenAI 最后一次詳細(xì)介紹他們?nèi)绾斡?xùn)練尖端模型的論文�；仡欉@兩年，Jim Fan認(rèn)為它標(biāo)志著大語言模型從學(xué)術(shù)研究(GPT-3)走向?qū)嶋H應(yīng)用(ChatGPT)的關(guān)鍵轉(zhuǎn)折點(diǎn)。

　　InstructGPT 并非 RLHF 的發(fā)明者。實(shí)際上，它的博客鏈接指向了 OpenAI 團(tuán)隊(duì)在2017年完成的最早的 RLHF 研究。RLHF 的初衷是解決模擬機(jī)器人領(lǐng)域中難以定義的任務(wù)。它通過要求人類注釋者給出900個(gè)簡(jiǎn)單的是非選擇，幫助一個(gè)名為“跳躍機(jī)器人”的機(jī)器人在模擬環(huán)境中學(xué)會(huì)了后空翻。

　　InstructGPT 在2022年的 NeurIPS 會(huì)議上亮相，地點(diǎn)是新奧爾良。當(dāng)時(shí)Jim Fan正在會(huì)上展示他的項(xiàng)目 MineDojo，看到 OpenAI 的展示非常驚喜。這些模型有三種規(guī)模:1.3B、6B 和175B。與老式的、需要復(fù)雜提示的 GPT-3-175B 相比，標(biāo)注者更加青睞 Instruct-1.3B。而且，Microsoft Phi-1，作為眾所周知的小型優(yōu)秀語言模型之一，也是1.3B。

　　InstructGPT 在展示研究方面堪稱典范。它的三步驟圖解清晰易懂，成為 AI 領(lǐng)域最具標(biāo)志性的視覺之一。的引言部分直奔主題，用粗體突出了八個(gè)主要觀點(diǎn)。對(duì)于模型局限性和偏見問題的討論，也是實(shí)事求是和坦誠(chéng)的。

　　InstructGPT模型三步訓(xùn)練意圖介紹:

　　第1步:收集示范數(shù)據(jù)，并訓(xùn)練一個(gè)監(jiān)督策略。從我們的提示數(shù)據(jù)集中抽取一個(gè)提示，例如“向一個(gè)6歲的孩子解釋月球登陸”。標(biāo)注者提供期的輸出行為，例如“一些人去了月球”。這些數(shù)據(jù)被用來通過監(jiān)督學(xué)習(xí)細(xì)調(diào)GPT-3模型。

　　第2步:收集比較數(shù)據(jù)，并訓(xùn)練一個(gè)獎(jiǎng)勵(lì)模型。抽取一個(gè)提示和幾個(gè)模輸出樣本，例如同樣是“向一個(gè)6歲的孩子解釋月球登陸”。標(biāo)注者會(huì)對(duì)這些輸出進(jìn)行排名，從最好到最差。這些數(shù)據(jù)被用來訓(xùn)練我們的獎(jiǎng)勵(lì)模型。

　　第3:使用強(qiáng)化學(xué)習(xí)對(duì)獎(jiǎng)勵(lì)模型優(yōu)化策略。從數(shù)據(jù)集中抽取一個(gè)新的提示，例如“寫一個(gè)關(guān)于青蛙的故事”。策略生成一個(gè)輸出，比如開始寫“從前有一次…”。勵(lì)模型計(jì)算一個(gè)獎(jiǎng)勵(lì)值給這個(gè)輸出。這個(gè)獎(jiǎng)勵(lì)值被用來通過PPO(比例策略優(yōu)化)更新策略。整個(gè)過程展示了從收集數(shù)據(jù)到通過人類標(biāo)注者的反饋來訓(xùn)練和優(yōu)化人工智能模型的步驟。這種方法結(jié)合了監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)來改進(jìn)模型的性能。