1320億參數(shù)，性能超LLaMA2、Grok-1！開源大模型DBRX

　　3月28日，著名數(shù)據(jù)和AI平臺(tái)Databricks在官網(wǎng)正式開源大模型——DBRX。

　　DBRX是一個(gè)專家混合模型(MoE)有1320億參數(shù)，能生成文本/代碼、數(shù)學(xué)推理等，有基礎(chǔ)和微調(diào)兩種模型。

　　根據(jù)DBRX在MMLU、HumanEval和 GSM8K公布的測(cè)試數(shù)據(jù)顯示，不僅性能超過(guò)了LLaMA2-70B和馬斯克最近開源的Grok-1，推理效率比LLaMA2-70B快2倍，總參數(shù)卻只有Grok-1的三分之一，是一款功能強(qiáng)算力消耗低的大模型。

　　Databricks作為數(shù)據(jù)管理領(lǐng)域的超級(jí)獨(dú)角獸，為了抓住生成式AI的風(fēng)口，2023年6月26日曾以13億美元的天價(jià)，收購(gòu)了大模型開源平臺(tái)MosaicML。

　　MosaicML曾在2023年5月5日發(fā)布了類ChatGPT開源大語(yǔ)言模型MPT-7B。(開源地址:https://huggingface.co/mosaicml/mpt-7b)該項(xiàng)目具備可商業(yè)化、高性能、算力消耗低、1T訓(xùn)練數(shù)據(jù)等技術(shù)優(yōu)勢(shì)。

　　MPT-7B只進(jìn)行了大約10天的訓(xùn)練，零人工干預(yù)，訓(xùn)練成本僅用了20萬(wàn)美元。性能卻打敗了LLaMA-7B、StablelM-7B 、Cerebras-13B等當(dāng)時(shí)知名開源模型。

　　截至目前，MPT-7B的下載量已超過(guò)300萬(wàn)次，而Databricks此次發(fā)布的DBRX在MPT-7B基礎(chǔ)之上進(jìn)行了大幅度優(yōu)化并且將算力需求降低了4倍。

　　DBRX簡(jiǎn)單介紹

　　DBRX是一款基于Transformer的MoE架構(gòu)大模型，1320億參數(shù)中的360億參數(shù)處于長(zhǎng)期激活狀態(tài)。

　　這與其它開源的MoE類型模型如Mixtral、Grok-1相比，DBRX使用了數(shù)量更多的小專家模型。DBRX有16個(gè)專家并選擇4個(gè)，而Mixtral和Grok-1有8個(gè)專家并選擇了2個(gè)。

　　DBRX使用了12T的文本和代碼數(shù)據(jù)(支持中文)，支持32k上下文窗口，并在3072個(gè) 英偉達(dá)的 H100上進(jìn)行了3個(gè)月的預(yù)訓(xùn)練。

　　DBRX除了與開源模型進(jìn)行了對(duì)比之外，還與OpenAI的GPT系列、谷歌的Gemini以及Anthropic最新發(fā)布的Claude3系列進(jìn)行了同臺(tái)競(jìng)技。

　　MMLU、HellaSwag、WinoGrande、HumanEval等綜合測(cè)試結(jié)果顯示，DBRX推理、數(shù)學(xué)解答、語(yǔ)言理解、代碼等能力超過(guò)了GPT-3.5，性能與谷歌的Gemini1.0Pro 性能差不多。

　　什么是專家混合模型

　　MoE模型全稱為Mixture of Experts，其核心原理是將一個(gè)龐大的神經(jīng)網(wǎng)絡(luò)分解為多個(gè)相對(duì)獨(dú)立的小型子網(wǎng)絡(luò)(即專家)，每個(gè)專家負(fù)責(zé)處理輸入數(shù)據(jù)的某些方面。

　　這種架構(gòu)設(shè)計(jì)使得MoE模型能夠高效利用計(jì)算資源，避免對(duì)所有參數(shù)進(jìn)行無(wú)謂的計(jì)算。主要包括門控制機(jī)制、專家網(wǎng)絡(luò)和聚合器三大模塊

　　門控機(jī)制:這是MoE模型的核心模塊，負(fù)責(zé)決定每個(gè)輸入應(yīng)該由哪個(gè)或哪幾個(gè)專家處理。

　　門控機(jī)制會(huì)根據(jù)輸入數(shù)據(jù)的特征分配權(quán)重給不同的專家，這個(gè)過(guò)程是動(dòng)態(tài)的，意味著不同的輸入會(huì)根據(jù)其內(nèi)容被分配給最合適的專家處理。例如，Grok-1模型中只有大約25%的參數(shù)被實(shí)際使用或“激活”。

　　專家網(wǎng)絡(luò):這些是模型中的子網(wǎng)絡(luò)，每個(gè)都有自己特定的參數(shù)配置。在傳統(tǒng)的MoE模型中，這些專家網(wǎng)絡(luò)可以是結(jié)構(gòu)相同但參數(shù)不同的多個(gè)神經(jīng)網(wǎng)絡(luò)。每個(gè)網(wǎng)絡(luò)都專注于模型任務(wù)的一個(gè)方面或輸入數(shù)據(jù)的一個(gè)子集。

　　聚合器:一旦各個(gè)專家給出了自己對(duì)于輸入的處理結(jié)果，聚合器則負(fù)責(zé)將這些結(jié)果綜合起來(lái)，形成最終的輸出。聚合的方式可以是簡(jiǎn)單的加權(quán)和、投票機(jī)制或者更復(fù)雜的融合策略。

　　MoE是開發(fā)、訓(xùn)練超過(guò)千億參數(shù)大模型常用的架構(gòu)，例如，GPT-4、Palm2等著名大模型使用的都是該架構(gòu)。