近日,微軟推出了一款名為Phi-3系列的小型AI模型,該模型在AI領(lǐng)域引起了廣泛關(guān)注。Phi-3系列中的Phi-3-mini模型,僅擁有3.8B參數(shù),卻在多項(xiàng)基準(zhǔn)測(cè)試中超越了擁有8B參數(shù)的Llama3模型。
微軟特別強(qiáng)調(diào),經(jīng)過(guò)4bit量化處理的Phi-3-mini能夠在iPhone14Pro和iPhone15使用的蘋果A16芯片上實(shí)現(xiàn)每秒12token的運(yùn)行速度,這標(biāo)志著手機(jī)上能本地運(yùn)行的最佳開(kāi)源模型已經(jīng)達(dá)到了ChatGPT的水平。
微軟在技術(shù)報(bào)告中展示了Phi-3系列的多項(xiàng)優(yōu)勢(shì)。除了Phi-3-mini之外,還有Phi-3-small和Phi-3-medium兩個(gè)版本,分別擁有7B和14B參數(shù)。Phi-3-small支持多語(yǔ)言,并使用了tiktoken分詞器以及增加了10%多語(yǔ)種數(shù)據(jù)。而Phi-3-medium在更多數(shù)據(jù)上進(jìn)行了訓(xùn)練,已在多數(shù)測(cè)試中超越了GPT-3.5和Mixtral8x7b MoE。
Phi-3系列的成功得益于其獨(dú)特的訓(xùn)練方法。微軟團(tuán)隊(duì)發(fā)現(xiàn),僅僅增加參數(shù)量并不是提升模型性能的唯一途徑。他們通過(guò)精心設(shè)計(jì)訓(xùn)練數(shù)據(jù),特別是利用大型語(yǔ)言模型生成合成數(shù)據(jù),并結(jié)合嚴(yán)格篩選的高質(zhì)量數(shù)據(jù),顯著提升了中小模型的性能。Phi-3系列的訓(xùn)練數(shù)據(jù)量巨大,其中Phi-3-medium使用了高達(dá)4.8萬(wàn)億token的數(shù)據(jù),并通過(guò)獨(dú)特的指令微調(diào)和RLHF訓(xùn)練,提高了模型的對(duì)話能力和安全性。
盡管如此,小型模型在存儲(chǔ)事實(shí)和知識(shí)方面仍有局限,這從TriviaQA測(cè)試的低分中可見(jiàn)一斑。微軟提出,通過(guò)聯(lián)網(wǎng)接入搜索引擎可以緩解這一問(wèn)題。微軟研究院團(tuán)隊(duì)表示,他們將繼續(xù)沿著小模型和數(shù)據(jù)工程的道路前進(jìn),并計(jì)劃增強(qiáng)小模型的多語(yǔ)言能力和安全性。
微軟的這一舉措在開(kāi)源社區(qū)中引起了熱烈討論,許多網(wǎng)友認(rèn)為這給OpenAI帶來(lái)了壓力,需要OpenAI盡快推出GPT-3.5的后繼產(chǎn)品以維持其在AI領(lǐng)域的領(lǐng)先地位。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請(qǐng)謹(jǐn)慎對(duì)待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。
近日,德國(guó)柏林國(guó)際電子消費(fèi)品展覽會(huì)(IFA2024)隆重舉辦。憑借在核心技術(shù)、產(chǎn)品設(shè)計(jì)及應(yīng)用方面的創(chuàng)新變革,全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)成功斬獲兩項(xiàng)“IFA全球產(chǎn)品設(shè)計(jì)創(chuàng)新大獎(jiǎng)”金獎(jiǎng),有力證明了其在全球市場(chǎng)的強(qiáng)大影響力。
近日,中國(guó)家電及消費(fèi)電子博覽會(huì)(AWE 2024)隆重開(kāi)幕。全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)攜多款創(chuàng)新技術(shù)和新品亮相,以敢為精神勇闖技術(shù)無(wú)人區(qū),斬獲四項(xiàng)AWE 2024艾普蘭大獎(jiǎng)。
“以前都要去窗口辦,一套流程下來(lái)都要半個(gè)月了,現(xiàn)在方便多了!”打開(kāi)“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
由世界人工智能大會(huì)組委會(huì)、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會(huì)共同指導(dǎo),由上海市人工智能行業(yè)協(xié)會(huì)聯(lián)合上海人工智能實(shí)驗(yàn)室、上海臨港經(jīng)濟(jì)發(fā)展(集團(tuán))有限公司、開(kāi)放原子開(kāi)源基金會(huì)主辦的“2024全球開(kāi)發(fā)者先鋒大會(huì)”,將于2024年3月23日至24日舉辦。