每個(gè) token 只需要 5.28% 的算力,精度就能全面對標(biāo) Llama 3。
開源大模型,再添一位重量級選手——
來自浪潮信息的 32 專家 MoE 模型,源 2.0-M32。
那么,這到底是怎樣的一款模型?
1/19 算力消耗,性能對標(biāo) Llama 3
首先了解一下模型的基本信息,源 2.0-M32 模型采用 MoE 架構(gòu),專家數(shù)量為 32,總參數(shù)量 40B,激活專家數(shù)為 2,激活參數(shù)量 3.7B。
精度上,源 2.0-M32 在多個(gè)測評數(shù)據(jù)集上全面對標(biāo) Llama3(70B,以下同),在 MATH(數(shù)學(xué)競賽)和 ARC-C(科學(xué)推理)榜單還上超越了 Llama3。
舉個(gè)例子,在求解一道中文數(shù)學(xué)題目時(shí),源 2.0-M32 能夠用中文進(jìn)行完整、準(zhǔn)確作答,而 Llama3 雖然能理解中文題目,但回答時(shí)還是用了英文。
而且看一下 Llama3 的答案,雖然前面的過程也沒什么問題,但最終得到的結(jié)果錯(cuò)得離譜,硬生生把一堆整數(shù)的和算出了小數(shù)點(diǎn)。
在實(shí)現(xiàn)與業(yè)界領(lǐng)先開源大模型性能相當(dāng)?shù)耐瑫r(shí),在模型的訓(xùn)練、推理和微調(diào)過程中,源 2.0-M32 的資源消耗也都顯著更低。
在訓(xùn)練階段,使用 2 萬億 token 對源 2.0-M32 進(jìn)行預(yù)訓(xùn)練,計(jì)算量只有同參數(shù)規(guī)模稠密模型的 9.25%。
在推理階段,在達(dá)到相當(dāng)精度的條件下,源 2.0-M32 平均每個(gè) token 消耗的算力為 7.4GFLOPS,Llama3 則需要 140GFLOPS,前者的消耗僅為后者的 1/19,即 5.28%。
換言之,源 2.0-M32 每 Token 算力下的平均精度是 Llama3 的18.8 倍,擁有更高的模算效率。
微調(diào)上,使用 1 萬條平均長度為 1024 token 的數(shù)據(jù)進(jìn)行微調(diào),Llama3-70B 消耗為 0.05PD(PetaFLOPs/s-Day),源 2.0-M32 只用 0.0026PD,僅為 Llama3 的 5.2%。
當(dāng)然不得不說的是,雖然源 2.0-M32 的微調(diào)消耗已經(jīng)降低到了 Llama3 的 5.2%,但微調(diào)本身對于一些用戶來說就是無法負(fù)擔(dān)的成本。
而得益于源 2.0-M32 強(qiáng)大的少樣本學(xué)習(xí)能力,讓用戶即使沒有條件進(jìn)行微調(diào),也能快速構(gòu)建大模型應(yīng)用。
以代碼生成為例,僅需很少量的樣本引導(dǎo),源 2.0-M32 在 HumanEval 上獲得的精度就能從 74.4 提升到 78.1,增幅達(dá)到了 4.97%。
浪潮信息提供了預(yù)訓(xùn)練、微調(diào)和推理服務(wù)腳本,開發(fā)人員可以高效完成部署。
模型部署可端可云,可以在自有的云服務(wù)上部署,也可以在浪潮信息推出的企業(yè)大模型開發(fā)平臺EPAI中快速構(gòu)建,還可以通過浪潮信息開源的本地大模型對話工具YuanChat,在 PC 端完成快速部署。
而且源 2.0-M32 模型激活參數(shù)量僅 3.7B,算力需求只有 2B 模型(單專家)的 1 點(diǎn)多倍,用筆記本就能帶動。
總之,浪潮信息始終追求更高效的智能涌現(xiàn)——本次發(fā)布 " 源 2.0-M32" 大模型,就是希望資源有限的條件下,實(shí)現(xiàn)能耗更低、推理和訓(xùn)練效果更優(yōu)的大模型開發(fā)。
那么,浪潮信息是如何實(shí)現(xiàn)用更少的算力開銷,對標(biāo)行業(yè)領(lǐng)先模型的呢?
算法、算力、數(shù)據(jù)的全面創(chuàng)新
自浪潮信息涉足 AI 領(lǐng)域以來,一直將" 算法、算力、數(shù)據(jù) "視為 AI 應(yīng)用的 " 三駕馬車 "。
實(shí)際上,整個(gè) " 源 " 系列大模型的研發(fā)過程亦是如此,所有的相關(guān)研究,都是圍繞著這三個(gè)維度展開的。
在算法上,源 2.0-M32 選擇了 MoE 架構(gòu),解決了稠密模型訓(xùn)練成本過高、數(shù)據(jù)和算力不足的問題。
從 Llama1(65B)、Llama2(70B)到 Llama3(70B)的迭代過程可以看出,三代模型的參數(shù)量接近,但隨著訓(xùn)練 Token 數(shù)從 1.4T 增加到了 15T,模型表現(xiàn)也隨之顯著提升。
△數(shù)據(jù)來自 Llama1 與 Llama2 的論文
大模型的擴(kuò)展率揭示出:增大模型的參數(shù)量與增大訓(xùn)練的 token 數(shù)對模型能力提升的作用類似,如果按照 Llama3 的訓(xùn)練數(shù)據(jù)量(15T tokens)外推,500B 參數(shù)的模型若想充分的訓(xùn)練,所需的高質(zhì)量文本 token 數(shù)高達(dá) 107T,已經(jīng)遠(yuǎn)遠(yuǎn)超過了當(dāng)前業(yè)界已知的數(shù)據(jù)量。
退一步講,即使真的有這么多數(shù)據(jù),訓(xùn)練過程所需的算力投入同樣無法承受。
按照計(jì)算,如果用 107T 訓(xùn)練 token 訓(xùn)一個(gè) 500B 參數(shù)規(guī)模的 Dense 模型,需要的算力是 321000Z(10^21)Flops。
即使在 2 萬顆加速卡的集群上,訓(xùn)練效率按 40% 來算(實(shí)際還不一定能達(dá)到),也需要耗時(shí) 464 天,單是電費(fèi)就要花費(fèi)約 3 億元。
相比之下,MoE 模型的一個(gè)顯著優(yōu)勢就是,能夠在遠(yuǎn)少于稠密模型所需的計(jì)算資源下,進(jìn)行有效的預(yù)訓(xùn)練。
同時(shí),源 2.0-M32 沒有采用 Mixtral 等 MoE 模型中更常見的 8 專家結(jié)構(gòu),而是將專家數(shù)量設(shè)定為了 32,運(yùn)行時(shí)只激活兩個(gè)專家。
這一參數(shù)的選擇,是研發(fā)團(tuán)隊(duì)進(jìn)行了大量的實(shí)驗(yàn)調(diào)優(yōu)之后確定的。
浪潮信息人工智能首席科學(xué)家吳韶華介紹說,模算效率是浪潮信息設(shè)計(jì)自己的大模型時(shí)的核心出發(fā)點(diǎn),在提升模型能力的同時(shí),盡可能降低算力開銷。
業(yè)界中像 Mixtral 這樣的模型,獲得更高精度的方式是固定專家數(shù)量,增加單個(gè)專家的參數(shù)量,但源 2.0-M32 則反其道而行之。
吳韶華介紹,在研發(fā)團(tuán)隊(duì)的實(shí)驗(yàn)中,隨著專家數(shù)量從 8 個(gè)專家增加到 32 個(gè)專家,在模型精度上取得了非常不錯(cuò)的回報(bào)。
但即使總的專家數(shù)量增加到了 32 個(gè),激活的專家依然只有兩個(gè)。在這種情況下,激活參數(shù)量不變,算力開銷不變。
至于源 2.0-M32 中的單個(gè)專家,則是選用了源 2.0-2B 模型,這樣做的考量是控制單個(gè)專家的參數(shù)量不至于過大,以便在企業(yè)場景應(yīng)用中可以有更好的模算效率。
除了在專家數(shù)量的設(shè)置上另辟蹊徑,團(tuán)隊(duì)也對源 2.0-M32 的門控網(wǎng)絡(luò)進(jìn)行了全新設(shè)計(jì),采用了獨(dú)創(chuàng)的Attention Router 門控網(wǎng)絡(luò),相比傳統(tǒng)的門控網(wǎng)絡(luò)獲得了精度提升。
當(dāng)前流行的 MoE 結(jié)構(gòu)大都采用簡單的調(diào)度策略,其本質(zhì)是對 token 與代表每個(gè)專家的特征向量求點(diǎn)積,隨后挑選點(diǎn)積結(jié)果最大的幾個(gè)專家。
這種方式只考慮了 token 和專家的關(guān)系,卻忽略了專家與專家之間的相關(guān)性,但實(shí)際過程中往往需要多個(gè)專家協(xié)同參與計(jì)算,如果忽視專家之間相關(guān)性,無疑會降低模型的精度。
而源 2.0-M32 大模型中的 Attention Router,就創(chuàng)造了一種專家間協(xié)同性的度量方法,解決了傳統(tǒng)的門控機(jī)制中專家關(guān)聯(lián)性缺失的問題。
具體來說,對于每一個(gè)專家,研發(fā)團(tuán)隊(duì)都構(gòu)建了 3 個(gè)向量,并利用類似 Attention 的機(jī)制來構(gòu)建專家之間的關(guān)系。最終選擇的專家不僅與 Token 匹配度高,兩個(gè)專家的協(xié)同效果也更好。
此外,源 2.0-M32 也沿用了源 2.0 系列中首創(chuàng)的局部注意力過濾增強(qiáng)(LFA)機(jī)制,和經(jīng)典的 Llama 結(jié)構(gòu)相比,模型在幾百億 token 數(shù)據(jù)的訓(xùn)練之后,在 100 億 token 的測試集上做測試,會有 3.5% 的精度提升。
在數(shù)據(jù)層面,源 2.0-M32 一共使用2 萬億 token進(jìn)行訓(xùn)練,相比之前的 2.0 版本大幅提升。
整個(gè)訓(xùn)練過程也非常穩(wěn)定,沒有出現(xiàn)數(shù)值不穩(wěn)定或異常的中斷的情況,最終訓(xùn)練損失為 1.22。
數(shù)據(jù)類型上看,源 2.0-M32 這個(gè)模型的 2 萬億 token 中,差不多有一半的數(shù)據(jù)都是代碼,包含中文代碼和英文代碼。
同時(shí),團(tuán)隊(duì)也引入了互聯(lián)網(wǎng)數(shù)據(jù)和各類學(xué)科數(shù)據(jù)等類型,來補(bǔ)充數(shù)據(jù)的多樣性。
另外,研發(fā)團(tuán)隊(duì)還通過源 2.0 合成數(shù)據(jù)的工具,獲得并增加了超過 1000 萬條的合成數(shù)據(jù),重點(diǎn)是針對于數(shù)學(xué)和中文代碼。
因?yàn)榛ヂ?lián)網(wǎng)上中文數(shù)學(xué)的語料實(shí)在太少,研發(fā)團(tuán)隊(duì)曾經(jīng)清洗了 10PB 左右的互聯(lián)網(wǎng)數(shù)據(jù),但實(shí)際只得到了幾十 GB 的中文數(shù)學(xué)數(shù)據(jù)。
所以,這片空白需要通過數(shù)據(jù)合成來進(jìn)行填補(bǔ),這也是研發(fā)團(tuán)隊(duì)持續(xù)做的工作。
在算力層面,源 2.0-M32 延續(xù)了源 2.0 提出的分布式訓(xùn)練方法,綜合運(yùn)用流水線并行 + 數(shù)據(jù)并行的策略,顯著降低了大模型對芯片間 P2P 帶寬的需求,為硬件差異較大訓(xùn)練環(huán)境提供了一種高性能的訓(xùn)練方法。
針對 MoE 模型的稀疏專家計(jì)算,采用合并矩陣乘法的方法,模算效率得到大幅提升。
將開源進(jìn)行到底
了解了模型背后的技術(shù)細(xì)節(jié),浪潮信息又為什么能夠打造出如此高效的大模型技術(shù)和產(chǎn)品呢?
主觀上,浪潮信息始終堅(jiān)持在算法、架構(gòu)等層面進(jìn)行創(chuàng)新,對于這樣做的原因,吳韶華這樣介紹:
如果想提升大模型的能力,沿用當(dāng)前的結(jié)構(gòu)當(dāng)然是一個(gè)比較好的路徑。
但我們始終堅(jiān)持:要從算法層面和模型架構(gòu)層面做探索、創(chuàng)新,這樣才能更快速的實(shí)現(xiàn)模型能力的提升。
客觀上,也至少包括以下三點(diǎn)原因。
一是從 AI 時(shí)代開始之前,浪潮信息就是專業(yè)的算力供應(yīng)商,在算力側(cè)擁有大量的生態(tài)伙伴,對不同類型算力特點(diǎn)有深入的研究,能夠更高效地對算力進(jìn)行利用。
實(shí)際上,自從 2021 年的源 1.0 開始,浪潮信息的一系列模型就都實(shí)現(xiàn)了比業(yè)界更高的訓(xùn)練效率。
同時(shí)期的 GPT-3,算力的利用效率只有 21.3%,而源 1.0 效率則達(dá)到了 44.8%,達(dá)到了業(yè)界領(lǐng)先水平。
二是在浪潮信息內(nèi)部,也有非常多的場景和團(tuán)隊(duì),包括客服、軟件研發(fā)、生產(chǎn)制造、運(yùn)維等等,都有很多實(shí)際的應(yīng)用案例,或者實(shí)際需要模型去做規(guī);D(zhuǎn)型的場景。
這些場景為源大模型的使用、迭代提供了天然的試驗(yàn)場,同時(shí)從中能夠積累更多的經(jīng)驗(yàn)、更多的能力,從而滿足更多的需求。
三是始終堅(jiān)持開源開放,同樣對模型能力的進(jìn)化非常有幫助。
源系列模型的開源從 1.0 版本就已開始,從源 1.0 到源 2.0 再到今天的源 2.0-M32,始終在堅(jiān)持做開源,也已賦能了很多開發(fā)者。
這些開發(fā)者基于源 1.0 做了很有趣的應(yīng)用探索,給了浪潮信息很好的反饋,指明了在模型能力上和開發(fā)者實(shí)際的應(yīng)用需求上,到底應(yīng)該關(guān)注在哪些層面。
吳韶華表示,從源 1.0 開源至今,浪潮信息一直在開源活動中持續(xù)受益,后續(xù)也會很堅(jiān)定的繼續(xù)開源。
總之,從創(chuàng)新研發(fā)到開源開放,浪潮信息將堅(jiān)持致力于研發(fā)基礎(chǔ)大模型,為企業(yè)用戶降低大模型使用門檻,加速推進(jìn)產(chǎn)業(yè)智能化升級。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹(jǐn)慎對待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。
2024年的Adobe MAX 2024發(fā)布會上,Adobe推出了最新版本的Adobe Creative Cloud。
奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。
“以前都要去窗口辦,一套流程下來都要半個(gè)月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實(shí)質(zhì)性的幫助,雙十一期間低至2799元,性價(jià)比很高,簡直是創(chuàng)作者們的首選。
9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會——工業(yè)互聯(lián)網(wǎng)標(biāo)識解析專題論壇在沈陽成功舉辦。