微軟發(fā)布Phi-4，最強(qiáng)小模型！參數(shù)極小、超GPT-4o

　　微軟研究院發(fā)布了最強(qiáng)小參數(shù)模型——Phi-4。

　　Phi系列模型自今已經(jīng)發(fā)布了5代，Phi-4也延續(xù)了之前的小參數(shù)模式只有140億。

　　但在GPQA研究生水平、MATH數(shù)學(xué)基準(zhǔn)中，分別達(dá)到了56.1和80.4超過(guò)了GPT-4o，同時(shí)也超過(guò)了同類型的開(kāi)源模型Qwen2.5-14B和Llama-3.3-70B。

　　而在美國(guó)數(shù)學(xué)競(jìng)賽AMC的測(cè)試中，Phi-4達(dá)到了驚人的91.8分，再次超過(guò)了GeminiPro1.5、GPT-4o、Claude3.5Sonnet、Qwen2.5等知名開(kāi)閉源模型，甚至整體性能可以與4050億參數(shù)的Llama-3.1相媲美。

　　這也就是說(shuō)，只要使用了高質(zhì)量數(shù)據(jù)和創(chuàng)新訓(xùn)練方法，小參數(shù)模型同樣可以戰(zhàn)勝大參數(shù)，但在部署、應(yīng)用和推理方面極大減少了對(duì)AI算力和環(huán)境的要求。

　　使用高質(zhì)量合成數(shù)據(jù)

　　Phi-4能以如此小的參數(shù)獲得巨大性能，使用高質(zhì)量合成訓(xùn)練數(shù)據(jù)是關(guān)鍵環(huán)節(jié)之一。

　　傳統(tǒng)的大模型通常依賴于從網(wǎng)絡(luò)抓取或公開(kāi)數(shù)據(jù)庫(kù)獲取的真實(shí)世界文本作為訓(xùn)練數(shù)據(jù)，這種方法雖然能夠提供豐富的信息來(lái)源，但也容易受到噪聲干擾和偏見(jiàn)影響。

　　Phi-4則使用了種子策劃、多Agent提示、自我修訂工作流、重寫和增強(qiáng)以及指令反轉(zhuǎn)等多種合成方法，有效解決了傳統(tǒng)無(wú)監(jiān)督數(shù)據(jù)集的缺點(diǎn)。

　　種子策劃是合成數(shù)據(jù)生成的起點(diǎn)。Phi-4從多個(gè)領(lǐng)域提取高質(zhì)量的數(shù)據(jù)種子，為合成數(shù)據(jù)生成打下堅(jiān)實(shí)基礎(chǔ)，使得能夠創(chuàng)建針對(duì)模型訓(xùn)練目標(biāo)的練習(xí)、討論和推理任務(wù)。

　　策劃的種子包括從網(wǎng)頁(yè)、書籍和代碼庫(kù)中提取的文段和代碼片段，這些內(nèi)容展示了高復(fù)雜性、深度推理和教育價(jià)值。為了確保質(zhì)量，采用了兩階段過(guò)濾過(guò)程:首先是識(shí)別具有強(qiáng)教育潛力的頁(yè)面，然后是將選定的頁(yè)面分割成段落，對(duì)每個(gè)段落進(jìn)行事實(shí)和推理內(nèi)容的評(píng)分。

　　此外，多Agent提示允許不同智能體之間進(jìn)行交互對(duì)話，從而創(chuàng)造出更加多樣化且貼近真實(shí)應(yīng)用場(chǎng)景的交流場(chǎng)景;而自我修訂工作流則鼓勵(lì)模型參與到自身的編輯過(guò)程中，以此提高輸出內(nèi)容的質(zhì)量和一致性。

　　通過(guò)改變?nèi)蝿?wù)描述的方式，指令反轉(zhuǎn)可以增加模型處理不同類型問(wèn)題的能力，進(jìn)一步增強(qiáng)了其靈活性和適應(yīng)性。

　　總體上，一共生成了50種不同類型的合成數(shù)據(jù)集，涵蓋廣泛的主題和技能，總計(jì)約400B未加權(quán)的高質(zhì)量token數(shù)據(jù)。

　　創(chuàng)新訓(xùn)練方法

　　為了確保phi-4能在廣泛的任務(wù)類型上表現(xiàn)出色，研究人員使用了一系列針對(duì)性創(chuàng)新訓(xùn)練方法，并根據(jù)實(shí)際需求調(diào)整各類數(shù)據(jù)的比例。尤其是針對(duì)長(zhǎng)上下文理解能力的需求，phi-4增加了rope位置編碼的基礎(chǔ)頻率至25萬(wàn)次，并相應(yīng)地降低了最大學(xué)習(xí)率，以更好地適應(yīng)更長(zhǎng)的文本序列。

　　這種做法有效提升了模型對(duì)于復(fù)雜結(jié)構(gòu)化信息的理解力，使其在面對(duì)需要綜合分析多個(gè)段落甚至整篇文章的問(wèn)題時(shí)也能游刃有余。phi-4還特別注重了不同類型數(shù)據(jù)之間的平衡，避免某類數(shù)據(jù)過(guò)多導(dǎo)致其他方面性能下降的情況發(fā)生。

　　而在 phi-4的后訓(xùn)練過(guò)程中，研究團(tuán)隊(duì)采用了兩種形式的 DPO 數(shù)據(jù)對(duì)模型進(jìn)行了強(qiáng)化訓(xùn)練。第一種是基于人工標(biāo)注的 SFT數(shù)據(jù)，即由專家精心挑選并標(biāo)記好的問(wèn)答對(duì);

　　第二種則是自動(dòng)構(gòu)建的 DPO 對(duì)，這種方法通過(guò)搜索重要的轉(zhuǎn)折點(diǎn)，將原始對(duì)話片段拆分成多個(gè)選項(xiàng)，并讓模型從中選擇最優(yōu)解。通過(guò)結(jié)合這兩種方式，phi-4不僅學(xué)會(huì)了如何產(chǎn)生更符合預(yù)期的回答，還能夠在不同情境下靈活調(diào)整語(yǔ)氣和風(fēng)格，從而提供更加個(gè)性化的交互體驗(yàn)。

　　此外，phi-4還引入了一些創(chuàng)新性的后訓(xùn)練方法，以增強(qiáng)其在特定領(lǐng)域內(nèi)的表現(xiàn)。例如，在 STEM領(lǐng)域問(wèn)題解答方面，phi-4利用了一個(gè)名為Math-Shepherd 的工具來(lái)進(jìn)行驗(yàn)證和強(qiáng)化學(xué)習(xí)。Math-Shepherd 可以自動(dòng)檢查模型生成的答案是否正確，并且在必要時(shí)提供額外指導(dǎo)，幫助模型逐步掌握正確的解題思路。

　　這種方法有效地解決了傳統(tǒng)無(wú)監(jiān)督數(shù)據(jù)集中常見(jiàn)的邏輯不嚴(yán)密等問(wèn)題，使得 phi-4在數(shù)學(xué)競(jìng)賽類題目上的準(zhǔn)確率達(dá)到了驚人的80.4%，遠(yuǎn)超其他同類產(chǎn)品。

　　此外，針對(duì)編程代碼評(píng)估任務(wù)，Phi-4也采取了類似的方法，通過(guò)對(duì)大量開(kāi)源項(xiàng)目中的代碼片段進(jìn)行分析和總結(jié)，提升了其在該領(lǐng)域的執(zhí)行效率和準(zhǔn)確性。

　　值得一提的是，微軟AI副總裁、phi系列模型的靈魂人物之一Sébastien Bubeck已經(jīng)離開(kāi)了微軟加入了OpenAI。