微軟研究人員指出，并非所有token都符合需求

　　微軟研究人員挑戰(zhàn)了語言模型(LM)預(yù)訓(xùn)練的傳統(tǒng)方法，該方法在訓(xùn)練語料庫中的所有token上均勻應(yīng)用下一個(gè)token預(yù)測損失。相反，他們提出了一種新的語言模型稱為 RHO-1，該模型利用選擇性語言建模(SLM)。

　　RHO-1方法通過選擇性訓(xùn)練與所需分布一致的有用token，而不是嘗試預(yù)測每一個(gè)下一個(gè)token。他們引入了 Rho-Math-v0.1模型，其中 Rho-Math-1B 和 Rho-Math-7B 在 MATH 數(shù)據(jù)集上分別實(shí)現(xiàn)了15.6% 和31.0% 的少樣本準(zhǔn)確率，僅使用預(yù)訓(xùn)練token的3% 與 DeepSeekMath 相匹配。

　　Rho-Math-1B-Interpreter 是第一個(gè)在 MATH 數(shù)據(jù)集上實(shí)現(xiàn)超過40% 準(zhǔn)確率的1B LLM。

　　Rho-Math-7B-Interpreter 在 MATH 數(shù)據(jù)集上實(shí)現(xiàn)52% 的準(zhǔn)確率，僅使用69k 個(gè)樣本進(jìn)行微調(diào)。

　　RHO-1的 SLM 方法涉及使用參考模型對預(yù)訓(xùn)練token進(jìn)行評分，并使用更加專注的損失對具有更高多余損失的token進(jìn)行語言模型訓(xùn)練。這種選擇性過程使 RHO-1能夠在持續(xù)預(yù)訓(xùn)練15B OpenWebMath 語料庫時(shí)，將9個(gè)數(shù)學(xué)任務(wù)的少樣本準(zhǔn)確率提高高達(dá)30%。

　　該模型在微調(diào)后在 MATH 數(shù)據(jù)集上實(shí)現(xiàn)了最先進(jìn)的結(jié)果，并且在80B 通用token預(yù)訓(xùn)練時(shí)，在15個(gè)不同任務(wù)中平均提升了6.8%。

　　傳統(tǒng)的訓(xùn)練方法通常使用啟發(fā)式和分類器在文檔級(jí)別上過濾數(shù)據(jù)，以提高數(shù)據(jù)質(zhì)量和模型性能。然而，即使高質(zhì)量的數(shù)據(jù)集可能包含對訓(xùn)練產(chǎn)生負(fù)面影響的嘈雜token。

　　SLM 方法直接解決了這個(gè)問題，通過專注于token級(jí)別，并在預(yù)訓(xùn)練期間消除不需要的token損失。

　　在研究中，SLM 在預(yù)訓(xùn)練期間選擇的token與數(shù)學(xué)相關(guān)，有效地調(diào)整了模型對原始語料庫的相關(guān)部分。研究人員在各個(gè)檢查點(diǎn)中調(diào)查了token過濾，發(fā)現(xiàn)后續(xù)檢查點(diǎn)選擇的token傾向于在訓(xùn)練的后期具有更高的困惑度，并在早期具有更低的困惑度。

　　討論部分強(qiáng)調(diào)了未來的工作，包括將 SLM 推廣至數(shù)學(xué)領(lǐng)域以外的領(lǐng)域，將該技術(shù)擴(kuò)展至更大的模型和數(shù)據(jù)集，以及探索在評分token時(shí)是否需要訓(xùn)練參考模型。

　　對 SLM 的改進(jìn)可能包括重新加權(quán)token而不是選擇它們，以及使用多個(gè)參考模型減少過擬合。

　　SLM 可以擴(kuò)展到監(jiān)督微調(diào)，以解決數(shù)據(jù)集中的噪聲和分布不匹配，并通過訓(xùn)練一個(gè)強(qiáng)調(diào)幫助性、真實(shí)性和無害性的參考模型來獲得在預(yù)訓(xùn)練期間獲得本地對齊的基本模型。