微軟發(fā)布“自我進(jìn)化”，幫小模型超OpenAI-o1

　　微軟亞洲研究院發(fā)布了一種創(chuàng)新算法——rStar-Math。

　　rStar-Math通過代碼增強(qiáng)CoT、蒙特卡洛樹搜索等，可以幫助小參數(shù)模型在不依賴?yán)蠋熌Ｐ驼麴s的情況下，實現(xiàn)多輪自我思維深度進(jìn)化，極大增強(qiáng)模型的數(shù)學(xué)推理能力。

　　在美國數(shù)學(xué)競賽AIME2024測試中，rStar-Math平均解決了53.3%(8/15)的難題，超過了OpenAI o1-preview的44.6%，以及所有其他開源的大模型，成為最聰明的前20%高中數(shù)學(xué)生。

　　在MATH基準(zhǔn)測試中，rStar-Math將阿里開源的小模型Qwen2.5-Math-7B的準(zhǔn)確率從58.8%提高到90.0%，Qwen2.5-Math-1.5B的準(zhǔn)確率從51.2%提高到87.8%，Phi3-mini-3.8B從41.4%提高到86.4%，全部超過了OpenAI o1-preview。

　　這充分說明，小模型在創(chuàng)新算法和高質(zhì)量數(shù)據(jù)加持下，推理能力同樣可以超大參數(shù)的前沿模型。

　　代碼增強(qiáng)CoT

　　傳統(tǒng)的數(shù)學(xué)推理模型依賴于自然語言生成的推理步驟，這種方法雖然直觀，但容易產(chǎn)生錯誤或不相關(guān)的步驟，尤其是在復(fù)雜的數(shù)學(xué)問題中很難被察覺到。所以，rStar-Math使用代碼增強(qiáng)CoT(Chain-of-Thought，思維鏈)的方法來解決這個難題。

　　模型在生成每一步推理時，不僅生成自然語言的解釋，還生成對應(yīng)的Python代碼，并通過代碼執(zhí)行來驗證推理步驟的正確性。代碼增強(qiáng)CoT能夠提供嚴(yán)格的驗證機(jī)制，確保每一步推理的正確性。

　　例如，在解決一個數(shù)學(xué)問題時，模型可能會生成一個方程求解的步驟，并通過Python代碼實際執(zhí)行該方程求解過程。如果代碼執(zhí)行成功且結(jié)果正確，該步驟才會被保留為有效推理步驟。這種方法不僅減少了錯誤推理步驟的生成，還提高了推理軌跡的整體質(zhì)量。

　　為了進(jìn)一步確保推理步驟的質(zhì)量，rStar-Math 使用了蒙特卡洛樹搜索(MCTS)來生成逐步推理軌跡。MCTS 被用來分解復(fù)雜的數(shù)學(xué)問題為多個單步生成任務(wù)。

　　每個步驟中，策略模型生成多個候選步驟，并通過代碼執(zhí)行來過濾有效節(jié)點。通過廣泛的MCTS回滾，rStar-Math 能夠為每個步驟分配Q值，確保生成的推理軌跡由正確且高質(zhì)量的中間步驟組成。

　　PPM訓(xùn)練方法

　　目前，多數(shù)大模型在推理數(shù)學(xué)問題時面臨著無法提供細(xì)粒度的步驟級反饋，以幫助其在推理過程中做出更優(yōu)的選擇。rStar-Math通過引入過程獎勵模型(PRM)來幫助模型找到更優(yōu)的推理路徑。

　　PPM 的核心思想是通過構(gòu)建步驟級的正負(fù)偏好對來訓(xùn)練模型，而不是直接依賴于精確的步驟級評分。PPM 的訓(xùn)練方法利用了MCTS生成的Q值，這些Q值是通過廣泛的回滾和反向傳播過程計算得出的，反映了每個步驟對最終答案的貢獻(xiàn)。雖然這些Q值本身并不完全精確，但它們能夠可靠地區(qū)分高質(zhì)量步驟和低質(zhì)量步驟。

　　PPM從MCTS樹中選擇Q值最高的兩個步驟作為正例，Q值最低的兩個步驟作為負(fù)例，構(gòu)建偏好對。通過這種方式，PPM 能夠?qū)W習(xí)到哪些步驟更有可能引導(dǎo)模型生成正確的推理軌跡，從而在推理過程中做出更優(yōu)的選擇。

　　PPM 的訓(xùn)練過程采用了標(biāo)準(zhǔn)的Bradley-Terry 模型和成對排序損失函數(shù)。對于每個步驟，PPM 預(yù)測一個獎勵分?jǐn)?shù)，并通過成對排序損失函數(shù)來優(yōu)化模型的預(yù)測能力。成對排序損失函數(shù)的核心思想是最大化正例步驟與負(fù)例步驟之間的獎勵分?jǐn)?shù)差異，從而確保模型能夠準(zhǔn)確地區(qū)分高質(zhì)量和低質(zhì)量的推理步驟。

　　PPM 的訓(xùn)練方法還引入了一個重要的創(chuàng)新點，避免直接使用Q值作為獎勵標(biāo)簽。雖然Q值能夠提供一定的步驟級反饋，但由于其固有的噪聲和不精確性，直接使用Q值作為訓(xùn)練目標(biāo)會導(dǎo)致模型學(xué)習(xí)到不準(zhǔn)確的獎勵信號。

　　所以，PPM 通過構(gòu)建偏好對將Q值轉(zhuǎn)化為相對排序問題，從而減少了噪聲對模型訓(xùn)練的影響。這種方法不僅提高了模型的魯棒性，還使得PPM能夠在推理過程中更可靠地評估每一步的質(zhì)量。

　　多輪自我進(jìn)化

　　rStar-Math通過四輪自我思維深度進(jìn)化，并結(jié)合PPM、MCTS和代碼增強(qiáng)CoT 逐步增強(qiáng)模型的推理能力。

　　第一輪，通過監(jiān)督微調(diào)對基礎(chǔ)模型進(jìn)行初步改進(jìn)，為后續(xù)的自我進(jìn)化奠定基礎(chǔ)。這一輪的關(guān)鍵在于生成高質(zhì)量的初始訓(xùn)練數(shù)據(jù)，并利用這些數(shù)據(jù)對基礎(chǔ)模型進(jìn)行微調(diào)。

　　第二輪，通過PPM顯著提升模型推理能力。PPM通過分析策略模型生成的推理步驟，識別出哪些步驟是高質(zhì)量的，哪些步驟需要改進(jìn)。然后將這些反饋信息傳遞給策略模型，指導(dǎo)其在后續(xù)的推理中做出更好的選擇。

　　第三輪，通過PPM增強(qiáng)的MCTS生成更高質(zhì)量的數(shù)據(jù)，進(jìn)一步提升模型的推理能力。在這一輪中，PPM不僅評估策略模型生成的推理步驟，還指導(dǎo)MCTS的搜索過程，使其更有效地探索高質(zhì)量的推理路徑。

　　第四輪，通過增加MCTS回滾次數(shù)解決超難數(shù)學(xué)推理問題。在前三輪自我進(jìn)化的基礎(chǔ)之上，第四輪自我進(jìn)化通過增加MCTS的回滾次數(shù)，進(jìn)一步提升了rStar-Math解決具有挑戰(zhàn)性數(shù)學(xué)問題的能力。

　　增加回滾次數(shù)使得MCTS能夠更深入地探索不同的推理路徑，發(fā)現(xiàn)那些在初步探索中可能被忽略的高質(zhì)量解決方案。這不僅提高了模型對復(fù)雜問題的解決能力，還增強(qiáng)了其在面對高難度數(shù)學(xué)問題時的魯棒性。

　　從昨天微軟開源的最強(qiáng)小模型Phi-4，以及最新推出創(chuàng)新算法rStar-Math來看，未來小模型的性能和效率將逐漸成為主流，并且對于沒有強(qiáng)大算力集群的中小企業(yè)和個人開發(fā)者來說非常實用。