最近,7B小模型又成為了AI巨頭們競相追趕的潮流。繼谷歌的Gemma27B后,Mistral今天又發(fā)布了兩個7B模型,分別是針對STEM學科的Mathstral,以及使用Mamaba架構的代碼模型Codestral Mamba。
Mistral又驚喜上新了!
就在今天,Mistral發(fā)布了兩款小模型:Mathstral7B和Codestral Mamba7B。
首先是專為數(shù)學推理和科學發(fā)現(xiàn)設計的Mathstral7B。
在MATH基準測試中,它獲得了56.6% pass@1的成績,比Minerva540B提高了20%以上。Mathstral在MATH上的得分為68.4%,使用獎勵模型得分為74.6%。
而代碼模型Codestral Mamba,是首批采用Mamba2架構的開源模型之一。
它是可用的7B代碼模型中最佳的,使用256k token的上下文長度進行訓練。
兩款模型均在Apache2.0許可證下發(fā)布,目前權重都已上傳HuggingFace倉庫。
Mathstral
有趣的是,根據(jù)官宣文章,Mathstral的發(fā)布恰好慶祝了阿基米德2311周年誕辰。
Mathstral專為STEM學科設計,以解決需要復雜、多步驟推理的高級數(shù)學問題。參數(shù)僅有7B,上下文窗口為32k。
而且,Mathstral的研發(fā)還有一個重量級的合作伙伴——上周剛剛在Kaggle第一屆AI奧數(shù)競賽中得到冠軍寶座的Numina。
而且,有推特網(wǎng)友發(fā)現(xiàn),Mathstral可以正確回答「9.·11和9.9哪個更大」這個難倒一眾大模型的問題。
整數(shù)、小數(shù)分開比較,思維鏈清清楚楚,可以說是數(shù)學模型優(yōu)秀作業(yè)的典范了。
基于Mistral7B的語言能力,Mathstral進一步聚焦STEM學科。根據(jù)MMLU的學科分解結果,數(shù)學、物理、生物、化學、統(tǒng)計學、計算機科學等領域都是Mathstral的絕對優(yōu)勢項目。
根據(jù)官方博客文章的透露,Mathstral似乎犧牲了一些推理速度以換取模型性能,但從測評結果來看,這種權衡是值得的。
在多個數(shù)學、推理領域的基準測試中,Mathstral打敗了Llama38B、Gemma29B等流行的小模型,特別是在AMC2023、AIME2024這類數(shù)學競賽題上達到了SOTA。
而且,還可以進一步增加推理時間以取得更好的模型效果。
如果對64個候選使用多數(shù)投票(majority voting),Mathstral在MATH上的分數(shù)可以達到68.37%,進一步添加額外的獎勵模型,還能取得74.59%的高分。
除了HuggingFace和la Plateforme平臺,還可以調用官方發(fā)布的Mistral-finetune和Mistral Inference兩個開源SDK,使用或微調模型。
Codestral Mamba
繼沿用Transformer架構的Mixtral系列發(fā)布后,第一個采用Mamba2架構的代碼生成模型Codestral Mamba也問世了。
而且,研發(fā)過程也得到了Mamba原作者Albert Gu和Tri Dao的協(xié)助。
有趣的是,官宣文章專門cue到了和🐍有關的「埃及艷后」Cleopatra七世,她就是戲劇般地用一條毒蛇終結了自己的生命。
Mamba架構發(fā)布后,其優(yōu)越的實驗性能得到了廣泛的關注和看好,但由于整個AI社區(qū)在Transformer上投入了太多成本,我們至今也很少看到實際采用Mamba的工業(yè)界模型。
此時,Codestral Mamba恰好能為我們提供研究新架構的全新視角。
Mamba架構首發(fā)于2023年12月,兩位作者又在今年5月推出了更新版的Mamba-2。
與Transformer不同,Mamba模型具有線性時間推理的優(yōu)勢,并且理論上能夠建模無限長度的序列。
同為7B模型,Mathstral的上下文窗口只有32k時,Codestral Mamba卻能擴展到256k。
這種推理時間和上下文長度方面的效率優(yōu)勢,以及實現(xiàn)快速響應的潛力,在用于提升編碼效率的實際場景中尤為重要。
Mistral團隊正是看到了Mamba模型的這種優(yōu)勢,因而率先嘗試。從基準測試來看,7B參數(shù)的Codestral Mamba不僅比其他7B模型有明顯優(yōu)勢,甚至可以和更大規(guī)模的模型掰掰手腕。
在8個基準測試中,Codestral Mamba基本達到了和Code Llama34B相匹配的效果,甚至在其中6個測試上實現(xiàn)了性能超越。
然而相比大姐姐Codestral22B,Codestral Mamba的參數(shù)量劣勢就體現(xiàn)出來了,依舊顯得能力不足。
值得一提的是,Codestral22B還是不到兩個月前發(fā)布的新模型,再次感嘆一下總部在巴黎的Mistral竟如此之卷。
Codestral Mamba同樣可以使用Mistral-inference部署,或者英偉達發(fā)布的快速部署API TensorRL-LLM。
對于本地運行,官方博客表示,可以留意后續(xù)llama.cpp的支持。但ollama行動迅速,已經(jīng)將Mathstral加入到了模型庫中。
面對網(wǎng)友催更codestral mamba,ollama也非常給力地表示:「已經(jīng)在弄了,稍安勿躁!
文章內容僅供閱讀,不構成投資建議,請謹慎對待。投資者據(jù)此操作,風險自擔。
近日,德國柏林國際電子消費品展覽會(IFA2024)隆重舉辦。憑借在核心技術、產(chǎn)品設計及應用方面的創(chuàng)新變革,全球領先的智能終端企業(yè)TCL實業(yè)成功斬獲兩項“IFA全球產(chǎn)品設計創(chuàng)新大獎”金獎,有力證明了其在全球市場的強大影響力。
近日,中國家電及消費電子博覽會(AWE 2024)隆重開幕。全球領先的智能終端企業(yè)TCL實業(yè)攜多款創(chuàng)新技術和新品亮相,以敢為精神勇闖技術無人區(qū),斬獲四項AWE 2024艾普蘭大獎。
“以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關材料,僅幾秒鐘,重慶市民曾某的賬戶就打進了21600元。
由世界人工智能大會組委會、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會共同指導,由上海市人工智能行業(yè)協(xié)會聯(lián)合上海人工智能實驗室、上海臨港經(jīng)濟發(fā)展(集團)有限公司、開放原子開源基金會主辦的“2024全球開發(fā)者先鋒大會”,將于2024年3月23日至24日舉辦。