Mistral AI最新磁力鏈放出！8x22B MoE模型，281GB解禁

　　初創(chuàng)團(tuán)隊Mistral AI再次放出一條磁力鏈，281GB文件解禁了最新的8x22B MoE模型。

　　一條磁力鏈，Mistral AI又來悶聲不響搞事情。

　　281.24GB文件中，竟是全新8x22B MOE模型!

　　全新MoE模型共有56層，48個注意力頭，8名專家，2名活躍專家。

　　而且，上下文長度為65k。

　　網(wǎng)友紛紛表示，Mistral AI一如既往靠一條磁力鏈，掀起了AI社區(qū)熱潮。

　　對此，賈揚清也表示，自己已經(jīng)迫不及待想看到它和其他SOTA模型的詳細(xì)對比了!

　　靠磁力鏈火遍整個AI社區(qū)

　　去年12月，首個磁力鏈發(fā)布后，Mistral AI公開的8x7B的MoE模型收獲了不少好評。

　　基準(zhǔn)測試中，8個70億參數(shù)的小模型性能超越了多達(dá)700億參數(shù)的Llama2。

　　它可以很好地處理32k長度的上下文，支持英語、法語、意大利語、德語和西班牙語，且在代碼生成方面表現(xiàn)出強大的性能。

　　今年2月，最新旗艦版模型Mistral Large問世，性能直接對標(biāo)GPT-4。

　　不過，這個版本的模型沒有開源。

　　Mistral Large具備卓越的邏輯推理能力，能夠處理包括文本理解、轉(zhuǎn)換以及代碼生成在內(nèi)的復(fù)雜多語言任務(wù)。

　　也就是半個月前，在一個Cerebral Valley黑客松活動上，Mistral AI開源了Mistral7B v0.2基礎(chǔ)模型。

　　這個模型支持32k上下文，沒有滑動窗口，Rope Theta =1e6。

　　現(xiàn)在，最新的8x22B MoE模型也在抱抱臉平臺上上線，社區(qū)成員可以基于此構(gòu)建自己應(yīng)用。