伯克利分校推開放大模型Starling-7B 接受人工智能反饋訓練

　　RLAIF的獨特之處在于利用其他人工智能模型的反饋來提升性能，相較于傳統(tǒng)的人工反饋，這種方法更具有成本效益、速度快、透明度高、可擴展性強的優(yōu)勢。Starling-7B基于新的Nectar數(shù)據(jù)集進行訓練，包含183，000個聊天提示和380萬個成對比較。

　　研究人員使用兩個基準測試(MT-Bench和AlpacaEval)評估了Starling-7B的性能，這兩個測試使用GPT-4進行評分，分別關注模型在簡單指令跟隨任務中的安全性和幫助性。Starling-7B在MT-Bench中表現(xiàn)良好，與OpenAI的GPT-4和GPT-4Turbo相媲美，在AlpacaEval中達到了與商業(yè)聊天機器人相當?shù)乃�平�?/p>

　　研究人員指出，RLAIF主要改善了模型的幫助性和安全性，而在基本能力方面，如回答基于知識的問題、數(shù)學或編碼等，改進較小。

　　盡管基準測試的實際應用有限，但對RLAIF的應用前景充滿希望。研究人員建議的下一步是通過引入高質量的人工反饋數(shù)據(jù)，更好地調整模型以滿足人類需求。

　　與此同時，研究人員強調，Starling-7B和其他類似的大型語言模型在需要推理或數(shù)學任務時仍然存在困難，并可能產生幻覺。他們將Nectar數(shù)據(jù)集、Starling-RM-7B-alpha獎勵模型和Starling-LM-7B-alpha語言模型發(fā)布在Hugging Face上，并提供了研究許可證，代碼和論文將很快公開。感興趣的人還可以在聊天機器人領域測試該模型。