微軟開(kāi)源最強(qiáng)小參數(shù)大模型—Phi-3 Mini

　　4月23日晚，微軟在官網(wǎng)開(kāi)源了小參數(shù)的大語(yǔ)言模型——Phi-3-mini。

　　據(jù)悉，Phi-3-mini是微軟Phi家族的第4代，有預(yù)訓(xùn)練和指令微調(diào)多種模型，參數(shù)只有38億訓(xùn)練數(shù)據(jù)卻高達(dá)3.3T tokens，比很多數(shù)百億參數(shù)的模型訓(xùn)練數(shù)據(jù)都要多，這也是其性能超強(qiáng)的主要原因之一。

　　Phi-3-mini對(duì)內(nèi)存的占用極少，可以在 iPhone14等同類(lèi)手機(jī)中部署使用該模型。盡管受到移動(dòng)硬件設(shè)備的限制，但每秒仍能生成12個(gè)tokens數(shù)據(jù)。

　　值得一提的是，微軟在預(yù)訓(xùn)練Phi-3-mini時(shí)使用了合成數(shù)據(jù)，能幫助大模型更好地理解語(yǔ)言架構(gòu)、表達(dá)方式、文本語(yǔ)義理解、邏輯推理以及特定業(yè)務(wù)場(chǎng)景的專(zhuān)業(yè)術(shù)語(yǔ)等。

　　2023年6月，微軟首次推出了專(zhuān)用于Python編碼的模型Phi-1，只有13億參數(shù)卻在編程領(lǐng)域擊敗了GPT-3.5等知名模型，這讓微軟看到小參數(shù)模型的廣闊發(fā)展空間。

　　隨后在Phi-1基礎(chǔ)之上，微軟推出了具備推理、文本生成、內(nèi)容總結(jié)、起草郵件的大語(yǔ)言模型Phi-1.5，成為當(dāng)時(shí)最強(qiáng)小參數(shù)模型之一。

　　2023年12月，微軟在Phi-1.5基礎(chǔ)之上開(kāi)發(fā)了Phi-2，參數(shù)只有27億并且在沒(méi)有人類(lèi)反饋強(qiáng)化學(xué)習(xí)和指令微調(diào)的情況下，擊敗了130億參數(shù)的Llama-2和70億參數(shù)的Mistral;在編碼和數(shù)學(xué)測(cè)試中，Phi-2的性能甚至超過(guò)了700億參數(shù)的Llama-2。

　　本次發(fā)布的Phi-3系列集合了之前三代所有的優(yōu)秀技術(shù)特征，并使用了海量高質(zhì)量數(shù)據(jù)集、創(chuàng)新的訓(xùn)練、微調(diào)方法，使其成為目前最強(qiáng)的開(kāi)源小參數(shù)模型。

　　Phi-3-mini架構(gòu)簡(jiǎn)單介紹

　　Phi-3-mini采用了transformer架構(gòu)，支持4K和128K上下文窗口，也是同類(lèi)小模型中第一個(gè)支持128K的開(kāi)源產(chǎn)品。

　　高質(zhì)量訓(xùn)練數(shù)據(jù)集是Phi-3-mini性能超強(qiáng)的重要原因之一，微軟使用了3.3T tokens數(shù)據(jù)集包括:經(jīng)過(guò)嚴(yán)格質(zhì)量篩選的網(wǎng)絡(luò)公開(kāi)文檔、精選的高質(zhì)量教育數(shù)據(jù)和編程代碼;

　　通過(guò)合成數(shù)據(jù)創(chuàng)建的教科書(shū)式數(shù)據(jù)，例如，數(shù)學(xué)、編碼、常識(shí)推理、世界常識(shí)、心理科學(xué)等;

　　高質(zhì)量聊天格式的監(jiān)督數(shù)據(jù)，涵蓋各種主題以反映人類(lèi)在不同方面的偏好，例如，遵循指令、真實(shí)性、誠(chéng)實(shí)性等。

　　在訓(xùn)練策略方面，為了幫助Phi-3-mini更好地吸收合成數(shù)據(jù)，微軟使用了迭代訓(xùn)練策略:初始階段，Phi-3-mini使用了公開(kāi)網(wǎng)絡(luò)數(shù)據(jù)，學(xué)會(huì)了基本的語(yǔ)法、語(yǔ)義和上下文理解;

　　迭代階段，將合成數(shù)據(jù)與網(wǎng)絡(luò)數(shù)據(jù)合并構(gòu)建全新的訓(xùn)練集，并對(duì)Phi-3-mini進(jìn)行迭代訓(xùn)練，進(jìn)一步強(qiáng)化模型的理解和生成能力，并且進(jìn)行多次重復(fù)訓(xùn)練。

　　測(cè)試數(shù)據(jù)方面，Phi-3Mini在MMLU、GSM-8K、MedQA、BigBench-Hard等知名基準(zhǔn)測(cè)試平臺(tái)中，對(duì)語(yǔ)言理解、邏輯推理、機(jī)器翻譯、編碼等進(jìn)行了綜合測(cè)試。

　　結(jié)果顯示，Phi-3-mini僅通過(guò)少量樣本提示，在語(yǔ)言理解、編碼、數(shù)學(xué)的性能超過(guò)了參數(shù)更大的模型，整體性能非常出色。

　　微軟表示，在未來(lái)幾周內(nèi)還會(huì)發(fā)布70億參數(shù)的Phi-3-small和140億參數(shù)的Phi-3-medium兩款小模型。其中，Phi-3-medium的性能可媲美Mixtral8x7B 和GPT-3.5，資源消耗卻更少。