感謝 DeepSeek：Predibase 發(fā)布全球首個端到端強化微調(diào)平臺并開源，支持無服務器和端到端訓練方法

　　昨日晚間，大模型訓練、開發(fā)平臺 Predibase 發(fā)布了一個完全托管、無服務器、端到端的強化微調(diào)平臺，也是首個端到端強化微調(diào)(RFT)平臺。

　　Predibase 表示，DeepSeek-R1 的開源在全球 AI 領(lǐng)域產(chǎn)生了巨大影響，讓很多人意識到強化學習微調(diào)對訓練大模型的重要性。受此啟發(fā)，他們開發(fā)了這個端到端無服務器強化微調(diào)平臺。

　　與傳統(tǒng)的監(jiān)督式微調(diào)相比，RFT 不依賴大量的標注數(shù)據(jù)，而是通過獎勵和自定義函數(shù)來完成持續(xù)地強化學習，同時支持無服務器和端到端訓練方法，從數(shù)據(jù)管理、訓練模型到應用部署可以在同一個平臺完成。用戶只需要一個瀏覽器，設(shè)定微調(diào)目標、上傳數(shù)據(jù)、就能完成以前非常復雜的大模型微調(diào)流程。

　　為了展示 RFT 的強大，Predibase 基于阿里 Qwen2.5-Coder-32B-instruct 微調(diào)了一個專門用于將 PyTorch 代碼翻譯為 Triton 的模型 Predibase-T2T-32B-RFT，并根據(jù)其他更大的基礎(chǔ)模型(包括 DeepSeek-R1、Claude 3.7 Sonnet 和 OpenAI o1)對內(nèi)核正確性進行了基準測試。

　　與傳統(tǒng)的監(jiān)督式微調(diào)方法不同，Predibase-T2T-32B-RFT 利用 RFT 以交互方式調(diào)整模型行為，以最少的標記數(shù)據(jù)優(yōu)化下游任務質(zhì)量。這使其成為專有 LLM 的高性價比、高性能替代方案。

　　通過 RFT，Predibase 在訓練過程結(jié)合了冷啟動監(jiān)督式微調(diào)、強化學習和課程學習，并且只使用了十幾個標記數(shù)據(jù)點。

　　在 Kernelbench 數(shù)據(jù)集上進行的基準測試顯示，Qwen2.5-Coder-32B-instruct 經(jīng)過強化后，其正確率比 DeepSeek-R1 和 OpenAI 的 o1 高出 3 倍，比 Claude 3.7 Sonnet 高出 4 倍以上，而模型占用的空間卻小了一個數(shù)量級。