只有27億參數(shù)，性能卻高25倍！微軟發(fā)布Phi-2

　　12月13日，微軟在官方網(wǎng)站正式發(fā)布了，27億參數(shù)的大語言模型—Phi-2。

　　Phi-2是基于微軟的Phi-1.5開發(fā)而成，可自動生成文本/代碼、總結(jié)文本、數(shù)學(xué)推理等功能。

　　雖然Phi-2的參數(shù)很小，性能卻優(yōu)于130億參數(shù)的Llama-2和70億參數(shù)的Mistral，以及谷歌最新發(fā)布的Gemini Nano2。

　　值得一提的是，Phi-2沒有進(jìn)行過RLHF（人類反饋強(qiáng)化學(xué)習(xí)）和指令微調(diào)只是一個基礎(chǔ)模型，但在多個任務(wù)評測中，其性能可以媲美或超過25倍參數(shù)的模型。

　　目前，微軟已經(jīng)開源了Phi-1.5和Phi-1，幫助開發(fā)者們深度研究和應(yīng)用小參數(shù)模型。

　　Phi-1.5開源地址:https://huggingface.co/microsoft/phi-1_5

　　Phi-1開源地址:https://huggingface.co/microsoft/phi-1

　　Phi-1.5論文地址:https://arxiv.org/abs/2309.05463

　　目前，大模型界有一個很怪的現(xiàn)象，就是出的模型參數(shù)越來越大，幾百億參數(shù)只能算剛?cè)腴T，上千億的比比皆是，有的模型甚至已經(jīng)達(dá)到上萬億。

　　參數(shù)高的模型并非不好，而是要看應(yīng)用場景。對于像微軟、OpenAI、百度、科大訊飛這樣的基礎(chǔ)模型服務(wù)商來說，參數(shù)越高覆蓋能力就越廣，例如，ChatGPT已經(jīng)進(jìn)化到多模態(tài)，除了生成文本，還能生成圖片聽懂聲音等。

　　Phi-2評測數(shù)據(jù)

　　但參數(shù)高的模型同樣也有很多缺點:過擬合，如果訓(xùn)練數(shù)據(jù)較差會出現(xiàn)能力不升反降的現(xiàn)象;算力成本巨大，用戶每一次的提問都像是在“燃燒金錢”;預(yù)訓(xùn)練時間長，每一次模型的迭代需要耗費大量訓(xùn)練時間。

　　調(diào)優(yōu)困難，高參數(shù)的模型擁有龐大且難控制的神經(jīng)元，想進(jìn)行部分功能調(diào)優(yōu)和控制非常困難，最近變懶的GPT-4便是最好的案例。

　　所以，微軟開發(fā)Phi系列模型的主要目的是研究，小參數(shù)模型如何在保證功能的前提下，也能與大參數(shù)的模型相媲美甚至超越，這對于企業(yè)和應(yīng)用者來說是一個雙贏的局面。

　　Phi-2簡單介紹

　　Phi-2和Phi-1.5一樣采用了24層的Transformer架構(gòu)，每個頭的維度為64，并使用了旋轉(zhuǎn)嵌入等技術(shù)來提升模型性能。

　　Phi-2只是一個基礎(chǔ)模型，沒有進(jìn)行過人類反饋強(qiáng)化學(xué)習(xí)和指令微調(diào)。但在文本生成、數(shù)學(xué)推理、代碼編程方面絲毫不比大參數(shù)的模型差，甚至比他們更好。

　　訓(xùn)練數(shù)據(jù)和流程方面，Phi-2使用了1.4T超高質(zhì)量的“教科書級”數(shù)據(jù)進(jìn)行了預(yù)訓(xùn)練，并非是網(wǎng)絡(luò)爬取的雜亂、黑箱數(shù)據(jù)。微軟表示，這也是小參數(shù)模型比大參數(shù)模型性能高的關(guān)鍵原因之一。

　　Phi-2在96個 A100GPU上一共訓(xùn)練了14天。

　　Phi-2實驗數(shù)據(jù)

　　微軟在MMLU、BBH、PIQA、WinoGrande、ARC easy、Challenge、SIQA和GSM8k等主流測試平臺對Phi-2進(jìn)行了測試。

　　數(shù)據(jù)顯示，在各種聚合基準(zhǔn)上的測試超過了，Mistral -7B和Llama-2-13B。

　　值得一提的是，在多步推理測試任務(wù)中，例如，編碼和數(shù)學(xué)，Phi-2的性能超過了700億參數(shù)的Llama-2。