32專家MoE大模型免費(fèi)商用！性能全面對(duì)標(biāo)Llama3，單token推理消耗僅 5.28%

　　每個(gè) token 只需要 5.28% 的算力，精度就能全面對(duì)標(biāo) Llama 3。

　　開源大模型，再添一位重量級(jí)選手——

　　來自浪潮信息的 32 專家 MoE 模型，源 2.0-M32。

　　那么，這到底是怎樣的一款模型?

　　1/19 算力消耗，性能對(duì)標(biāo) Llama 3

　　首先了解一下模型的基本信息，源 2.0-M32 模型采用 MoE 架構(gòu)，專家數(shù)量為 32，總參數(shù)量 40B，激活專家數(shù)為 2，激活參數(shù)量 3.7B。

　　精度上，源 2.0-M32 在多個(gè)測評(píng)數(shù)據(jù)集上全面對(duì)標(biāo) Llama3(70B，以下同)，在 MATH(數(shù)學(xué)競賽)和 ARC-C(科學(xué)推理)榜單還上超越了 Llama3。

　　舉個(gè)例子，在求解一道中文數(shù)學(xué)題目時(shí)，源 2.0-M32 能夠用中文進(jìn)行完整、準(zhǔn)確作答，而 Llama3 雖然能理解中文題目，但回答時(shí)還是用了英文。

　　而且看一下 Llama3 的答案，雖然前面的過程也沒什么問題，但最終得到的結(jié)果錯(cuò)得離譜，硬生生把一堆整數(shù)的和算出了小數(shù)點(diǎn)。

　　在實(shí)現(xiàn)與業(yè)界領(lǐng)先開源大模型性能相當(dāng)?shù)耐瑫r(shí)，在模型的訓(xùn)練、推理和微調(diào)過程中，源 2.0-M32 的資源消耗也都顯著更低。

　　在訓(xùn)練階段，使用 2 萬億 token 對(duì)源 2.0-M32 進(jìn)行預(yù)訓(xùn)練，計(jì)算量只有同參數(shù)規(guī)模稠密模型的 9.25%。

　　在推理階段，在達(dá)到相當(dāng)精度的條件下，源 2.0-M32 平均每個(gè) token 消耗的算力為 7.4GFLOPS，Llama3 則需要 140GFLOPS，前者的消耗僅為后者的 1/19，即 5.28%。

　　換言之，源 2.0-M32 每 Token 算力下的平均精度是 Llama3 的18.8 倍，擁有更高的模算效率。

　　微調(diào)上，使用 1 萬條平均長度為 1024 token 的數(shù)據(jù)進(jìn)行微調(diào)，Llama3-70B 消耗為 0.05PD(PetaFLOPs/s-Day)，源 2.0-M32 只用 0.0026PD，僅為 Llama3 的 5.2%。

　　當(dāng)然不得不說的是，雖然源 2.0-M32 的微調(diào)消耗已經(jīng)降低到了 Llama3 的 5.2%，但微調(diào)本身對(duì)于一些用戶來說就是無法負(fù)擔(dān)的成本。

　　而得益于源 2.0-M32 強(qiáng)大的少樣本學(xué)習(xí)能力，讓用戶即使沒有條件進(jìn)行微調(diào)，也能快速構(gòu)建大模型應(yīng)用。

　　以代碼生成為例，僅需很少量的樣本引導(dǎo)，源 2.0-M32 在 HumanEval 上獲得的精度就能從 74.4 提升到 78.1，增幅達(dá)到了 4.97%。

　　浪潮信息提供了預(yù)訓(xùn)練、微調(diào)和推理服務(wù)腳本，開發(fā)人員可以高效完成部署。

　　模型部署可端可云，可以在自有的云服務(wù)上部署，也可以在浪潮信息推出的企業(yè)大模型開發(fā)平臺(tái)EPAI中快速構(gòu)建，還可以通過浪潮信息開源的本地大模型對(duì)話工具YuanChat，在 PC 端完成快速部署。

　　而且源 2.0-M32 模型激活參數(shù)量僅 3.7B，算力需求只有 2B 模型(單專家)的 1 點(diǎn)多倍，用筆記本就能帶動(dòng)。

　　總之，浪潮信息始終追求更高效的智能涌現(xiàn)——本次發(fā)布 " 源 2.0-M32" 大模型，就是希望資源有限的條件下，實(shí)現(xiàn)能耗更低、推理和訓(xùn)練效果更優(yōu)的大模型開發(fā)。

　　那么，浪潮信息是如何實(shí)現(xiàn)用更少的算力開銷，對(duì)標(biāo)行業(yè)領(lǐng)先模型的呢?

　　算法、算力、數(shù)據(jù)的全面創(chuàng)新

　　自浪潮信息涉足 AI 領(lǐng)域以來，一直將" 算法、算力、數(shù)據(jù) "視為 AI 應(yīng)用的 " 三駕馬車 "。

　　實(shí)際上，整個(gè) " 源 " 系列大模型的研發(fā)過程亦是如此，所有的相關(guān)研究，都是圍繞著這三個(gè)維度展開的。

　　在算法上，源 2.0-M32 選擇了 MoE 架構(gòu)，解決了稠密模型訓(xùn)練成本過高、數(shù)據(jù)和算力不足的問題。

　　從 Llama1(65B)、Llama2(70B)到 Llama3(70B)的迭代過程可以看出，三代模型的參數(shù)量接近，但隨著訓(xùn)練 Token 數(shù)從 1.4T 增加到了 15T，模型表現(xiàn)也隨之顯著提升。

　　△數(shù)據(jù)來自 Llama1 與 Llama2 的論文

　　大模型的擴(kuò)展率揭示出：增大模型的參數(shù)量與增大訓(xùn)練的 token 數(shù)對(duì)模型能力提升的作用類似，如果按照 Llama3 的訓(xùn)練數(shù)據(jù)量(15T tokens)外推，500B 參數(shù)的模型若想充分的訓(xùn)練，所需的高質(zhì)量文本 token 數(shù)高達(dá) 107T，已經(jīng)遠(yuǎn)遠(yuǎn)超過了當(dāng)前業(yè)界已知的數(shù)據(jù)量。

　　退一步講，即使真的有這么多數(shù)據(jù)，訓(xùn)練過程所需的算力投入同樣無法承受。

　　按照計(jì)算，如果用 107T 訓(xùn)練 token 訓(xùn)一個(gè) 500B 參數(shù)規(guī)模的 Dense 模型，需要的算力是 321000Z(10^21)Flops。

　　即使在 2 萬顆加速卡的集群上，訓(xùn)練效率按 40% 來算(實(shí)際還不一定能達(dá)到)，也需要耗時(shí) 464 天，單是電費(fèi)就要花費(fèi)約 3 億元。

　　相比之下，MoE 模型的一個(gè)顯著優(yōu)勢就是，能夠在遠(yuǎn)少于稠密模型所需的計(jì)算資源下，進(jìn)行有效的預(yù)訓(xùn)練。

　　同時(shí)，源 2.0-M32 沒有采用 Mixtral 等 MoE 模型中更常見的 8 專家結(jié)構(gòu)，而是將專家數(shù)量設(shè)定為了 32，運(yùn)行時(shí)只激活兩個(gè)專家。

　　這一參數(shù)的選擇，是研發(fā)團(tuán)隊(duì)進(jìn)行了大量的實(shí)驗(yàn)調(diào)優(yōu)之后確定的。

　　浪潮信息人工智能首席科學(xué)家吳韶華介紹說，模算效率是浪潮信息設(shè)計(jì)自己的大模型時(shí)的核心出發(fā)點(diǎn)，在提升模型能力的同時(shí)，盡可能降低算力開銷。

　　業(yè)界中像 Mixtral 這樣的模型，獲得更高精度的方式是固定專家數(shù)量，增加單個(gè)專家的參數(shù)量，但源 2.0-M32 則反其道而行之。

　　吳韶華介紹，在研發(fā)團(tuán)隊(duì)的實(shí)驗(yàn)中，隨著專家數(shù)量從 8 個(gè)專家增加到 32 個(gè)專家，在模型精度上取得了非常不錯(cuò)的回報(bào)。

　　但即使總的專家數(shù)量增加到了 32 個(gè)，激活的專家依然只有兩個(gè)。在這種情況下，激活參數(shù)量不變，算力開銷不變。

　　至于源 2.0-M32 中的單個(gè)專家，則是選用了源 2.0-2B 模型，這樣做的考量是控制單個(gè)專家的參數(shù)量不至于過大，以便在企業(yè)場景應(yīng)用中可以有更好的模算效率。

　　除了在專家數(shù)量的設(shè)置上另辟蹊徑，團(tuán)隊(duì)也對(duì)源 2.0-M32 的門控網(wǎng)絡(luò)進(jìn)行了全新設(shè)計(jì)，采用了獨(dú)創(chuàng)的Attention Router 門控網(wǎng)絡(luò)，相比傳統(tǒng)的門控網(wǎng)絡(luò)獲得了精度提升。

　　當(dāng)前流行的 MoE 結(jié)構(gòu)大都采用簡單的調(diào)度策略，其本質(zhì)是對(duì) token 與代表每個(gè)專家的特征向量求點(diǎn)積，隨后挑選點(diǎn)積結(jié)果最大的幾個(gè)專家。

　　這種方式只考慮了 token 和專家的關(guān)系，卻忽略了專家與專家之間的相關(guān)性，但實(shí)際過程中往往需要多個(gè)專家協(xié)同參與計(jì)算，如果忽視專家之間相關(guān)性，無疑會(huì)降低模型的精度。

　　而源 2.0-M32 大模型中的 Attention Router，就創(chuàng)造了一種專家間協(xié)同性的度量方法，解決了傳統(tǒng)的門控機(jī)制中專家關(guān)聯(lián)性缺失的問題。

　　具體來說，對(duì)于每一個(gè)專家，研發(fā)團(tuán)隊(duì)都構(gòu)建了 3 個(gè)向量，并利用類似 Attention 的機(jī)制來構(gòu)建專家之間的關(guān)系。最終選擇的專家不僅與 Token 匹配度高，兩個(gè)專家的協(xié)同效果也更好。

　　此外，源 2.0-M32 也沿用了源 2.0 系列中首創(chuàng)的局部注意力過濾增強(qiáng)(LFA)機(jī)制，和經(jīng)典的 Llama 結(jié)構(gòu)相比，模型在幾百億 token 數(shù)據(jù)的訓(xùn)練之后，在 100 億 token 的測試集上做測試，會(huì)有 3.5% 的精度提升。

　　在數(shù)據(jù)層面，源 2.0-M32 一共使用2 萬億 token進(jìn)行訓(xùn)練，相比之前的 2.0 版本大幅提升。

　　整個(gè)訓(xùn)練過程也非常穩(wěn)定，沒有出現(xiàn)數(shù)值不穩(wěn)定或異常的中斷的情況，最終訓(xùn)練損失為 1.22。

　　數(shù)據(jù)類型上看，源 2.0-M32 這個(gè)模型的 2 萬億 token 中，差不多有一半的數(shù)據(jù)都是代碼，包含中文代碼和英文代碼。

　　同時(shí)，團(tuán)隊(duì)也引入了互聯(lián)網(wǎng)數(shù)據(jù)和各類學(xué)科數(shù)據(jù)等類型，來補(bǔ)充數(shù)據(jù)的多樣性。

　　另外，研發(fā)團(tuán)隊(duì)還通過源 2.0 合成數(shù)據(jù)的工具，獲得并增加了超過 1000 萬條的合成數(shù)據(jù)，重點(diǎn)是針對(duì)于數(shù)學(xué)和中文代碼。

　　因?yàn)榛ヂ?lián)網(wǎng)上中文數(shù)學(xué)的語料實(shí)在太少，研發(fā)團(tuán)隊(duì)曾經(jīng)清洗了 10PB 左右的互聯(lián)網(wǎng)數(shù)據(jù)，但實(shí)際只得到了幾十 GB 的中文數(shù)學(xué)數(shù)據(jù)。

　　所以，這片空白需要通過數(shù)據(jù)合成來進(jìn)行填補(bǔ)，這也是研發(fā)團(tuán)隊(duì)持續(xù)做的工作。

　　在算力層面，源 2.0-M32 延續(xù)了源 2.0 提出的分布式訓(xùn)練方法，綜合運(yùn)用流水線并行 + 數(shù)據(jù)并行的策略，顯著降低了大模型對(duì)芯片間 P2P 帶寬的需求，為硬件差異較大訓(xùn)練環(huán)境提供了一種高性能的訓(xùn)練方法。

　　針對(duì) MoE 模型的稀疏專家計(jì)算，采用合并矩陣乘法的方法，模算效率得到大幅提升。

　　將開源進(jìn)行到底

　　了解了模型背后的技術(shù)細(xì)節(jié)，浪潮信息又為什么能夠打造出如此高效的大模型技術(shù)和產(chǎn)品呢?

　　主觀上，浪潮信息始終堅(jiān)持在算法、架構(gòu)等層面進(jìn)行創(chuàng)新，對(duì)于這樣做的原因，吳韶華這樣介紹：

　　如果想提升大模型的能力，沿用當(dāng)前的結(jié)構(gòu)當(dāng)然是一個(gè)比較好的路徑。

　　但我們始終堅(jiān)持：要從算法層面和模型架構(gòu)層面做探索、創(chuàng)新，這樣才能更快速的實(shí)現(xiàn)模型能力的提升。

　　客觀上，也至少包括以下三點(diǎn)原因。

　　一是從 AI 時(shí)代開始之前，浪潮信息就是專業(yè)的算力供應(yīng)商，在算力側(cè)擁有大量的生態(tài)伙伴，對(duì)不同類型算力特點(diǎn)有深入的研究，能夠更高效地對(duì)算力進(jìn)行利用。

　　實(shí)際上，自從 2021 年的源 1.0 開始，浪潮信息的一系列模型就都實(shí)現(xiàn)了比業(yè)界更高的訓(xùn)練效率。

　　同時(shí)期的 GPT-3，算力的利用效率只有 21.3%，而源 1.0 效率則達(dá)到了 44.8%，達(dá)到了業(yè)界領(lǐng)先水平。

　　二是在浪潮信息內(nèi)部，也有非常多的場景和團(tuán)隊(duì)，包括客服、軟件研發(fā)、生產(chǎn)制造、運(yùn)維等等，都有很多實(shí)際的應(yīng)用案例，或者實(shí)際需要模型去做規(guī)�；�轉(zhuǎn)型的場景。

　　這些場景為源大模型的使用、迭代提供了天然的試驗(yàn)場，同時(shí)從中能夠積累更多的經(jīng)驗(yàn)、更多的能力，從而滿足更多的需求。

　　三是始終堅(jiān)持開源開放，同樣對(duì)模型能力的進(jìn)化非常有幫助。

　　源系列模型的開源從 1.0 版本就已開始，從源 1.0 到源 2.0 再到今天的源 2.0-M32，始終在堅(jiān)持做開源，也已賦能了很多開發(fā)者。

　　這些開發(fā)者基于源 1.0 做了很有趣的應(yīng)用探索，給了浪潮信息很好的反饋，指明了在模型能力上和開發(fā)者實(shí)際的應(yīng)用需求上，到底應(yīng)該關(guān)注在哪些層面。

　　吳韶華表示，從源 1.0 開源至今，浪潮信息一直在開源活動(dòng)中持續(xù)受益，后續(xù)也會(huì)很堅(jiān)定的繼續(xù)開源。

　　總之，從創(chuàng)新研發(fā)到開源開放，浪潮信息將堅(jiān)持致力于研發(fā)基礎(chǔ)大模型，為企業(yè)用戶降低大模型使用門檻，加速推進(jìn)產(chǎn)業(yè)智能化升級(jí)。