微軟AI研究推數(shù)學(xué)LLM Orca-Math:通過對(duì)Mistral-7B模型進(jìn)行微調(diào)的7B參數(shù)小模型

　　微軟研究團(tuán)隊(duì)引領(lǐng)著教育技術(shù)領(lǐng)域的不斷創(chuàng)新，近日推出了一款名為Orca-Math的前沿工具，它是一款小語言模型(SLM)，擁有7億參數(shù)，并基于Mistral-7B架構(gòu)微調(diào)而來。這一創(chuàng)新方法重新定義了傳統(tǒng)數(shù)學(xué)單詞問題教學(xué)的策略，徹底改變了學(xué)生參與和掌握這一學(xué)科的方式。與以往常常依賴廣泛的模型調(diào)用和外部工具進(jìn)行驗(yàn)證的方法不同，Orca-Math以其簡(jiǎn)化而高效的解決方案脫穎而出。

　　Orca-Math的方法論的核心是一個(gè)由20萬道數(shù)學(xué)問題組成的精心制作的合成數(shù)據(jù)集。然而，Orca-Math的真正巧妙之處在于其迭代學(xué)習(xí)過程。在模型遍歷這個(gè)數(shù)據(jù)集時(shí)，它嘗試解決問題并獲得對(duì)其努力的詳細(xì)反饋。這個(gè)反饋循環(huán)豐富了偏好對(duì)比，將模型的解決方案與專家反饋進(jìn)行對(duì)比，促進(jìn)了一個(gè)學(xué)習(xí)環(huán)境，使模型不斷完善其解決問題的能力。

　　這種迭代學(xué)習(xí)機(jī)制對(duì)于Orca-Math的成功至關(guān)重要。最初，僅在合成數(shù)據(jù)集上進(jìn)行監(jiān)督微調(diào)(SFT)時(shí)，Orca-Math展示了令人印象深刻的能力，在GSM8K基準(zhǔn)上實(shí)現(xiàn)了81.50%的準(zhǔn)確率。然而，引入迭代偏好學(xué)習(xí)將Orca-Math推向了新的高度，使其在相同基準(zhǔn)上達(dá)到了86.81%的準(zhǔn)確率。這些數(shù)字代表了在利用SLM解決教育挑戰(zhàn)方面的一大步前進(jìn)�？紤]到模型的規(guī)模和其高效運(yùn)行的效率，Orca-Math的成就尤為顯著，超過了規(guī)模顯著更大的模型，并在該領(lǐng)域設(shè)立了新的基準(zhǔn)。

　　微軟研究的Orca-Math不僅在性能上超越了現(xiàn)有的大型模型，而且還以卓越的效率完成了這一壯舉，利用更小的數(shù)據(jù)集。這一壯舉突顯了SLM在配備正確方法和資源的情況下的潛力。Orca-Math在GSM8K基準(zhǔn)上的表現(xiàn)證明了所開發(fā)方法的有效性，突顯了該模型在解決機(jī)器長(zhǎng)期以來難以處理的數(shù)學(xué)問題方面的嫻熟能力。這一努力還展示了當(dāng)SLM配備創(chuàng)新技術(shù)，如合成數(shù)據(jù)生成和迭代學(xué)習(xí)時(shí)，它們的變革力量。

　　Orca-Math體現(xiàn)了一種突破性的學(xué)習(xí)方法，將人工智能和教育的領(lǐng)域融合在一起，以應(yīng)對(duì)教授復(fù)雜問題解決技能的長(zhǎng)期挑戰(zhàn)。通過利用SLM通過合成數(shù)據(jù)集和迭代反饋來解鎖學(xué)習(xí)工具的全新時(shí)代，Orca-Math為技術(shù)和學(xué)習(xí)手牽手走向解鎖全球?qū)W生的全部潛力的未來提供了一瞥。