專給ChatGPT“找茬”，OpenAI訓練CriticGPT模型以檢索輸出內(nèi)容錯誤

　　當?shù)貢r間27日，OpenAI 宣布基于 GPT-4 訓練了一個名為 CriticGPT 的模型，用于查找 ChatGPT 聊天機器人輸出內(nèi)容中的錯誤。它可以撰寫評論，強調(diào) ChatGPT 生成答案中不準確的地方。

　　據(jù)介紹，CriticGPT 旨在協(xié)助人類 AI 訓練員完成工作 —— 使用一種名為“從人類反饋中強化學習(IT之家注：Reinforcement Learning from Human Feedback，RLHF)”的技術(shù)來訓練、改進 GPT-4 的回答。

　　然而隨著 ChatGPT 的準確性日益提升，錯誤越來越隱蔽，導致 AI 訓練員的工作越來越“難做”。OpenAI 對此解釋稱，這是 RLHF 的基本局限之一 —— 模型逐漸變得比任何可以提供反饋的人都更博學，模型的協(xié)調(diào)可能也會隨之變得越來越困難。

　　目前，當 CriticGPT 試圖從 ChatGPT 的回答中發(fā)現(xiàn)錯誤時，它的一雙“鷹眼”就會發(fā)揮作用。OpenAI 指出，現(xiàn)實世界中的錯誤可能遍布答案的多個部分，這是 CriticGPT 未來需要解決的問題。“我們的工作重點是可以在一個地方指出錯誤，但將來我們也需要解決分散的錯誤。”