Llama3來(lái)了!
就在剛剛,Meta官網(wǎng)上新,官宣了Llama380億和700億參數(shù)版本。
并且推出即為開(kāi)源SOTA:
Meta官方數(shù)據(jù)顯示,Llama38B和70B版本在各自參數(shù)規(guī)模上超越一眾對(duì)手。
8B模型在MMLU、GPQA、HumanEval等多項(xiàng)基準(zhǔn)上均勝過(guò)Gemma7B和Mistral7B Instruct。
而70B模型則超越了閉源的當(dāng)紅炸子雞Claude3Sonnet,和谷歌的Gemini Pro1.5打得有來(lái)有回。
Huggingface鏈接一出,開(kāi)源社區(qū)再次沸騰。
眼尖的盲生們還第一時(shí)間發(fā)現(xiàn)了華點(diǎn):
Meta更藏了一手4000億參數(shù)+的Llama3版本,不遜于Claude3超大杯Opus的那種!
AI寫(xiě)作助手創(chuàng)企HyperWriteAI的CEO見(jiàn)此已忍不住感慨:
我們正在步入一個(gè)新世界,一個(gè)GPT-4級(jí)別的模型開(kāi)源并且可以自由訪問(wèn)的世界。
英偉達(dá)科學(xué)家Jim Fan則認(rèn)為,還在訓(xùn)練中的Llama3400B將成為開(kāi)源大模型的分水嶺,改變很多學(xué)界研究和初創(chuàng)公司的發(fā)展方式。
全面取得SOTA,但8k窗口
更多技術(shù)細(xì)節(jié),Meta在博客文章中給出。
架構(gòu)層面,Llama3選擇了經(jīng)典的僅解碼(decoder-only)式Transformer架構(gòu),采用包含128K token詞匯表的分詞器。
訓(xùn)練數(shù)據(jù)上看,Llama3的訓(xùn)練數(shù)據(jù)規(guī)模達(dá)到了15T tokens,全部來(lái)自于公開(kāi)信息,其中5%為非英文數(shù)據(jù),涵蓋30多種語(yǔ)言。
Llama3的數(shù)據(jù)量比Llama2的訓(xùn)練數(shù)據(jù)多7倍,其中代碼比Llama2多4倍。
此外,為了提高 Llama3模型的推理效率,Meta AI還采用了分組查詢(xún)注意力 (GQA)機(jī)制,在8192個(gè)tokens的序列上訓(xùn)練模型,并使用掩碼確保自注意力不會(huì)跨越文檔邊界。
結(jié)果,無(wú)論是8B還是70B版本,Llama3相較于近似規(guī)模的上一代Llama2,都取得了重大飛躍。
在迄今為止的8B和70B參數(shù)規(guī)模的模型中,Llama3都成為了新的SOTA模型。
在語(yǔ)言(MMLU)、知識(shí)(GPQA)、編程(HumanEval)、數(shù)學(xué)(GSM-8K、MATH)等能力上,Llama3幾乎全面領(lǐng)先于同等規(guī)模的其他模型。
除了這些常規(guī)的數(shù)據(jù)集,Meta AI還評(píng)估了Llama3在現(xiàn)實(shí)場(chǎng)景中的性能,并為此研發(fā)了一套高質(zhì)量的測(cè)試數(shù)據(jù)集。
這個(gè)測(cè)試集包含了1800條數(shù)據(jù),涵蓋代碼、推理、寫(xiě)作、總結(jié)等12個(gè)關(guān)鍵用例,并針對(duì)開(kāi)發(fā)團(tuán)隊(duì)保密。
結(jié)果,Llama3不僅大幅超越Llama2,也戰(zhàn)勝了Claude3Sonnet、Mistral Medium和GPT-3.5這些知名模型。
而在AGIEval、BIG-Bench、ARC-Challenge這些更高階、更困難的數(shù)據(jù)集上,Llama3的表現(xiàn)同樣可圈可點(diǎn)。
8B版本在這些任務(wù)上超越了Mistral和Gemma,70B版本則戰(zhàn)勝了Gemini Pro和MoE架構(gòu)的Mixtral,分別斬獲相應(yīng)規(guī)模的SOTA。
不過(guò)美中不足的是,Llama3的上下文窗口只有8k,這與現(xiàn)在動(dòng)輒幾十上百萬(wàn)窗口的大模型相比,仿佛還停留在上一代(手動(dòng)狗頭)。
但也不必過(guò)度擔(dān)憂(yōu),Matt Shumer就對(duì)此持樂(lè)觀態(tài)度,他表示相信在開(kāi)源社區(qū)的努力下,窗口長(zhǎng)度很快就會(huì)擴(kuò)展上去。
Llama迎來(lái)官方網(wǎng)頁(yè)版
目前,Llama3兩種參數(shù)量的基礎(chǔ)和Instruct版本都已上線Hugging Face可供下載。
此外,微軟Azure、谷歌云、亞馬遜AWS、英偉達(dá)NIM等云服務(wù)平臺(tái)也將陸續(xù)上線Llama3。
同時(shí),Meta還表示Llama3會(huì)得到英特爾、英偉達(dá)、AMD、高通等多家廠商提供的硬件平臺(tái)支持。
值得一提的是,此次與基礎(chǔ)模型一同發(fā)布的,還有基于Llama3的官方Web版本,名字就叫Meta AI。
目前該平臺(tái)有對(duì)話和繪畫(huà)兩大功能,只用對(duì)話的話無(wú)需注冊(cè)登錄、即開(kāi)即用,使用繪畫(huà)功能則需要先登錄賬號(hào)。
不過(guò),目前該平臺(tái)還不支持中文,也暫未上線文本上傳等功能。
代碼方面,該平臺(tái)也能夠運(yùn)行一些簡(jiǎn)單的Python程序,但似乎只能輸出文本,涉及到繪圖這樣的任務(wù)就無(wú)法運(yùn)行了。
總得來(lái)看,這個(gè)網(wǎng)頁(yè)版本還比較初級(jí),但也不妨期待一波后面的更新。
One More Thing
一個(gè)小插曲是,其實(shí)在Meta官宣前幾個(gè)小時(shí),微軟的Azure市場(chǎng)已經(jīng)偷跑了Llama38B Instruct版本的消息。
開(kāi)源模型機(jī)器學(xué)習(xí)在線平臺(tái)Replicate上的Llama3價(jià)格表也被網(wǎng)友們第一時(shí)間扒拉了出來(lái)。
但很快,這些“小道消息”就都被404了。
好在烏龍完了,官方也沒(méi)拖著,關(guān)心開(kāi)源大模型的小伙伴們,可以造作起來(lái)了(doge)。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請(qǐng)謹(jǐn)慎對(duì)待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。
近日,德國(guó)柏林國(guó)際電子消費(fèi)品展覽會(huì)(IFA2024)隆重舉辦。憑借在核心技術(shù)、產(chǎn)品設(shè)計(jì)及應(yīng)用方面的創(chuàng)新變革,全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)成功斬獲兩項(xiàng)“IFA全球產(chǎn)品設(shè)計(jì)創(chuàng)新大獎(jiǎng)”金獎(jiǎng),有力證明了其在全球市場(chǎng)的強(qiáng)大影響力。
近日,中國(guó)家電及消費(fèi)電子博覽會(huì)(AWE 2024)隆重開(kāi)幕。全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)攜多款創(chuàng)新技術(shù)和新品亮相,以敢為精神勇闖技術(shù)無(wú)人區(qū),斬獲四項(xiàng)AWE 2024艾普蘭大獎(jiǎng)。
“以前都要去窗口辦,一套流程下來(lái)都要半個(gè)月了,現(xiàn)在方便多了!”打開(kāi)“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶(hù)就打進(jìn)了21600元。
由世界人工智能大會(huì)組委會(huì)、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會(huì)共同指導(dǎo),由上海市人工智能行業(yè)協(xié)會(huì)聯(lián)合上海人工智能實(shí)驗(yàn)室、上海臨港經(jīng)濟(jì)發(fā)展(集團(tuán))有限公司、開(kāi)放原子開(kāi)源基金會(huì)主辦的“2024全球開(kāi)發(fā)者先鋒大會(huì)”,將于2024年3月23日至24日舉辦。