12月13日,微軟在官方網(wǎng)站正式發(fā)布了,27億參數(shù)的大語言模型—Phi-2。
Phi-2是基于微軟的Phi-1.5開發(fā)而成,可自動(dòng)生成文本/代碼、總結(jié)文本、數(shù)學(xué)推理等功能。
雖然Phi-2的參數(shù)很小,性能卻優(yōu)于130億參數(shù)的Llama-2和70億參數(shù)的Mistral,以及谷歌最新發(fā)布的Gemini Nano2。
值得一提的是,Phi-2沒有進(jìn)行過RLHF(人類反饋強(qiáng)化學(xué)習(xí))和指令微調(diào)只是一個(gè)基礎(chǔ)模型,但在多個(gè)任務(wù)評(píng)測(cè)中,其性能可以媲美或超過25倍參數(shù)的模型。
目前,微軟已經(jīng)開源了Phi-1.5和Phi-1,幫助開發(fā)者們深度研究和應(yīng)用小參數(shù)模型。
Phi-1.5開源地址:https://huggingface.co/microsoft/phi-1_5
Phi-1開源地址:https://huggingface.co/microsoft/phi-1
Phi-1.5論文地址:https://arxiv.org/abs/2309.05463
目前,大模型界有一個(gè)很怪的現(xiàn)象,就是出的模型參數(shù)越來越大,幾百億參數(shù)只能算剛?cè)腴T,上千億的比比皆是,有的模型甚至已經(jīng)達(dá)到上萬億。
參數(shù)高的模型并非不好,而是要看應(yīng)用場(chǎng)景。對(duì)于像微軟、OpenAI、百度、科大訊飛這樣的基礎(chǔ)模型服務(wù)商來說,參數(shù)越高覆蓋能力就越廣,例如,ChatGPT已經(jīng)進(jìn)化到多模態(tài),除了生成文本,還能生成圖片聽懂聲音等。
Phi-2評(píng)測(cè)數(shù)據(jù)
但參數(shù)高的模型同樣也有很多缺點(diǎn):過擬合,如果訓(xùn)練數(shù)據(jù)較差會(huì)出現(xiàn)能力不升反降的現(xiàn)象;算力成本巨大,用戶每一次的提問都像是在“燃燒金錢”;預(yù)訓(xùn)練時(shí)間長,每一次模型的迭代需要耗費(fèi)大量訓(xùn)練時(shí)間。
調(diào)優(yōu)困難,高參數(shù)的模型擁有龐大且難控制的神經(jīng)元,想進(jìn)行部分功能調(diào)優(yōu)和控制非常困難,最近變懶的GPT-4便是最好的案例。
所以,微軟開發(fā)Phi系列模型的主要目的是研究,小參數(shù)模型如何在保證功能的前提下,也能與大參數(shù)的模型相媲美甚至超越,這對(duì)于企業(yè)和應(yīng)用者來說是一個(gè)雙贏的局面。
Phi-2簡(jiǎn)單介紹
Phi-2和Phi-1.5一樣采用了24層的Transformer架構(gòu),每個(gè)頭的維度為64,并使用了旋轉(zhuǎn)嵌入等技術(shù)來提升模型性能。
Phi-2只是一個(gè)基礎(chǔ)模型,沒有進(jìn)行過人類反饋強(qiáng)化學(xué)習(xí)和指令微調(diào)。但在文本生成、數(shù)學(xué)推理、代碼編程方面絲毫不比大參數(shù)的模型差,甚至比他們更好。
訓(xùn)練數(shù)據(jù)和流程方面,Phi-2使用了1.4T超高質(zhì)量的“教科書級(jí)”數(shù)據(jù)進(jìn)行了預(yù)訓(xùn)練,并非是網(wǎng)絡(luò)爬取的雜亂、黑箱數(shù)據(jù)。微軟表示,這也是小參數(shù)模型比大參數(shù)模型性能高的關(guān)鍵原因之一。
Phi-2在96個(gè) A100GPU上一共訓(xùn)練了14天。
Phi-2實(shí)驗(yàn)數(shù)據(jù)
微軟在MMLU、BBH、PIQA、WinoGrande、ARC easy、Challenge、SIQA和GSM8k等主流測(cè)試平臺(tái)對(duì)Phi-2進(jìn)行了測(cè)試。
數(shù)據(jù)顯示,在各種聚合基準(zhǔn)上的測(cè)試超過了,Mistral -7B和Llama-2-13B。
值得一提的是,在多步推理測(cè)試任務(wù)中,例如,編碼和數(shù)學(xué),Phi-2的性能超過了700億參數(shù)的Llama-2。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請(qǐng)謹(jǐn)慎對(duì)待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。
2024年的Adobe MAX 2024發(fā)布會(huì)上,Adobe推出了最新版本的Adobe Creative Cloud。
奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。
“以前都要去窗口辦,一套流程下來都要半個(gè)月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實(shí)質(zhì)性的幫助,雙十一期間低至2799元,性價(jià)比很高,簡(jiǎn)直是創(chuàng)作者們的首選。
9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會(huì)——工業(yè)互聯(lián)網(wǎng)標(biāo)識(shí)解析專題論壇在沈陽成功舉辦。