GGII:預(yù)計(jì)2024年中國(guó)工業(yè)機(jī)器人全年銷量約30萬(wàn)臺(tái),同比下滑5%左右冰雪大世界盛大開(kāi)園,美的空調(diào)橫跨50℃打造“東北夏威夷”臺(tái)灣小土豆勇闖冰雪大世界,美的空調(diào)真暖快車成為最熱打卡點(diǎn)京東iPhone 16系列年底大放價(jià)!至高補(bǔ)貼1200元價(jià)格低過(guò)11.11新一季圓滿假期結(jié)伴大使出發(fā)在即 LG電子十年相伴助力溫暖傳遞中國(guó)聯(lián)通組織“魅力亞冬,與智慧同行” 主題采訪活動(dòng)“萬(wàn)象分區(qū)”引領(lǐng)電視行業(yè)新潮流,TCL這步棋下得著實(shí)漂亮!百度職業(yè)院校專屬項(xiàng)目“大國(guó)智匠”引領(lǐng)職業(yè)教育新范式百度大模型助力2024年碼蹄杯程序設(shè)計(jì)大賽,全國(guó)高校學(xué)子展現(xiàn)卓越編程實(shí)力碼蹄杯人物特寫:四位編程少年的追夢(mèng)之旅金倉(cāng)數(shù)據(jù)庫(kù)四項(xiàng)成果入選2024星河案例亞信科技參加2024通信產(chǎn)業(yè)大會(huì) CTO歐陽(yáng)曄博士等做主題演講用專業(yè)贏得信賴 美好蘊(yùn)育潤(rùn)康引領(lǐng)孕產(chǎn)營(yíng)養(yǎng)新風(fēng)尚解鎖新成就!愛(ài)企查“度秘書(shū)”粉絲突破10萬(wàn)!英特爾終止x86S架構(gòu)計(jì)劃:純64位設(shè)計(jì)再度戛然而止豆包大模型全面升級(jí),相關(guān)概念股瘋漲,字節(jié)發(fā)布緊急警示申通、圓通、韻達(dá)發(fā)布 11 月簡(jiǎn)報(bào):快遞業(yè)務(wù)量、收入均同比增長(zhǎng),單票收入均下降SensorTower發(fā)11月中國(guó)手游全球收入排行榜 庫(kù)洛入榜“YO!原”千里來(lái)相會(huì) 華為智能生活館·太原茂業(yè)重裝開(kāi)業(yè)微軟承認(rèn)并調(diào)查Microsoft 365 應(yīng)用出現(xiàn)“產(chǎn)品已停用”錯(cuò)誤
  • 首頁(yè) > 云計(jì)算頻道 > 大模型

    1320億參數(shù),性能超LLaMA2、Grok-1!開(kāi)源大模型DBRX

    2024年03月28日 09:43:00   來(lái)源:AIGC開(kāi)放社區(qū)公眾號(hào)

      3月28日,著名數(shù)據(jù)和AI平臺(tái)Databricks在官網(wǎng)正式開(kāi)源大模型——DBRX。

      DBRX是一個(gè)專家混合模型(MoE)有1320億參數(shù),能生成文本/代碼、數(shù)學(xué)推理等,有基礎(chǔ)和微調(diào)兩種模型。

      根據(jù)DBRX在MMLU、HumanEval和 GSM8K公布的測(cè)試數(shù)據(jù)顯示,不僅性能超過(guò)了LLaMA2-70B和馬斯克最近開(kāi)源的Grok-1,推理效率比LLaMA2-70B快2倍,總參數(shù)卻只有Grok-1的三分之一,是一款功能強(qiáng)算力消耗低的大模型。

      Databricks作為數(shù)據(jù)管理領(lǐng)域的超級(jí)獨(dú)角獸,為了抓住生成式AI的風(fēng)口,2023年6月26日曾以13億美元的天價(jià),收購(gòu)了大模型開(kāi)源平臺(tái)MosaicML

      MosaicML曾在2023年5月5日發(fā)布了類ChatGPT開(kāi)源大語(yǔ)言模型MPT-7B。(開(kāi)源地址:https://huggingface.co/mosaicml/mpt-7b)該項(xiàng)目具備可商業(yè)化、高性能、算力消耗低、1T訓(xùn)練數(shù)據(jù)等技術(shù)優(yōu)勢(shì)。

      MPT-7B只進(jìn)行了大約10天的訓(xùn)練,零人工干預(yù),訓(xùn)練成本僅用了20萬(wàn)美元。性能卻打敗了LLaMA-7B、StablelM-7B 、Cerebras-13B等當(dāng)時(shí)知名開(kāi)源模型。

      截至目前,MPT-7B的下載量已超過(guò)300萬(wàn)次,而Databricks此次發(fā)布的DBRX在MPT-7B基礎(chǔ)之上進(jìn)行了大幅度優(yōu)化并且將算力需求降低了4倍。

      DBRX簡(jiǎn)單介紹

      DBRX是一款基于Transformer的MoE架構(gòu)大模型,1320億參數(shù)中的360億參數(shù)處于長(zhǎng)期激活狀態(tài)。

      這與其它開(kāi)源的MoE類型模型如Mixtral、Grok-1相比,DBRX使用了數(shù)量更多的小專家模型。DBRX有16個(gè)專家并選擇4個(gè),而Mixtral和Grok-1有8個(gè)專家并選擇了2個(gè)。

      DBRX使用了12T的文本和代碼數(shù)據(jù)(支持中文),支持32k上下文窗口,并在3072個(gè) 英偉達(dá)的 H100上進(jìn)行了3個(gè)月的預(yù)訓(xùn)練。

      DBRX除了與開(kāi)源模型進(jìn)行了對(duì)比之外,還與OpenAI的GPT系列、谷歌的Gemini以及Anthropic最新發(fā)布的Claude3系列進(jìn)行了同臺(tái)競(jìng)技。

    圖片

      MMLU、HellaSwag、WinoGrande、HumanEval等綜合測(cè)試結(jié)果顯示,DBRX推理、數(shù)學(xué)解答、語(yǔ)言理解、代碼等能力超過(guò)了GPT-3.5,性能與谷歌的Gemini1.0Pro 性能差不多。

      什么是專家混合模型

      MoE模型全稱為Mixture of Experts,其核心原理是將一個(gè)龐大的神經(jīng)網(wǎng)絡(luò)分解為多個(gè)相對(duì)獨(dú)立的小型子網(wǎng)絡(luò)(即專家),每個(gè)專家負(fù)責(zé)處理輸入數(shù)據(jù)的某些方面。

      這種架構(gòu)設(shè)計(jì)使得MoE模型能夠高效利用計(jì)算資源,避免對(duì)所有參數(shù)進(jìn)行無(wú)謂的計(jì)算。主要包括門控制機(jī)制、專家網(wǎng)絡(luò)和聚合器三大模塊

      門控機(jī)制:這是MoE模型的核心模塊,負(fù)責(zé)決定每個(gè)輸入應(yīng)該由哪個(gè)或哪幾個(gè)專家處理。

      門控機(jī)制會(huì)根據(jù)輸入數(shù)據(jù)的特征分配權(quán)重給不同的專家,這個(gè)過(guò)程是動(dòng)態(tài)的,意味著不同的輸入會(huì)根據(jù)其內(nèi)容被分配給最合適的專家處理。例如,Grok-1模型中只有大約25%的參數(shù)被實(shí)際使用或“激活”。

      專家網(wǎng)絡(luò):這些是模型中的子網(wǎng)絡(luò),每個(gè)都有自己特定的參數(shù)配置。在傳統(tǒng)的MoE模型中,這些專家網(wǎng)絡(luò)可以是結(jié)構(gòu)相同但參數(shù)不同的多個(gè)神經(jīng)網(wǎng)絡(luò)。每個(gè)網(wǎng)絡(luò)都專注于模型任務(wù)的一個(gè)方面或輸入數(shù)據(jù)的一個(gè)子集。

      聚合器:一旦各個(gè)專家給出了自己對(duì)于輸入的處理結(jié)果,聚合器則負(fù)責(zé)將這些結(jié)果綜合起來(lái),形成最終的輸出。聚合的方式可以是簡(jiǎn)單的加權(quán)和、投票機(jī)制或者更復(fù)雜的融合策略。

      MoE是開(kāi)發(fā)、訓(xùn)練超過(guò)千億參數(shù)大模型常用的架構(gòu),例如,GPT-4、Palm2等著名大模型使用的都是該架構(gòu)。

      文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請(qǐng)謹(jǐn)慎對(duì)待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。

    即時(shí)

    新聞

    明火炊具市場(chǎng):三季度健康屬性貫穿全類目

    奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。

    企業(yè)IT

    重慶創(chuàng)新公積金應(yīng)用,“區(qū)塊鏈+政務(wù)服務(wù)”顯成效

    “以前都要去窗口辦,一套流程下來(lái)都要半個(gè)月了,現(xiàn)在方便多了!”打開(kāi)“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。

    3C消費(fèi)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,高能實(shí)力,創(chuàng)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來(lái)實(shí)質(zhì)性的幫助,雙十一期間低至2799元,性價(jià)比很高,簡(jiǎn)直是創(chuàng)作者們的首選。

    研究

    中國(guó)信通院羅松:深度解讀《工業(yè)互聯(lián)網(wǎng)標(biāo)識(shí)解析體系

    9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會(huì)——工業(yè)互聯(lián)網(wǎng)標(biāo)識(shí)解析專題論壇在沈陽(yáng)成功舉辦。