Zyphra 于 8 月 27 日發(fā)布博文,宣布推出 Zamba2-mini 1.2B 模型,共有 12 億參數(shù),聲稱是端側 SOTA 小語言模型,在 4bit 量化下內(nèi)存占用低于 700MB。
注:SOTA 全稱為 state-of-the-art,并不是特指某個具體的模型,而是指在該項研究任務中,目前最好 / 最先進的模型。
Zamba2-mini 1.2B 雖然尺寸不大,但媲美包括谷歌 Gemma-2B、Huggingface 的 SmolLM-1.7B、蘋果的 OpenELM-1.1B 和微軟的 Phi-1.5 等更大模型。
在推理任務中,Zamba2-mini 的卓越性能尤為顯著,與 Phi3-3.8B 等模型相比,Zamba2-mini 的首次令牌時間(從輸入到輸出第一個 token 的延遲)是此前的二分之一,內(nèi)存占用減少了 27%。
Zamba2-mini 1.2B 主要通過高度優(yōu)化的架構實現(xiàn),融合了不同神經(jīng)網(wǎng)絡設計的優(yōu)勢,既能保持大型密集變壓器的高質量輸出,又能以更小模型的計算和內(nèi)存效率運行。
與前代 Zamba1 相比,Zamba2-mini 的關鍵進步之一是集成了兩個共享注意力層(attention layers)。
這種雙層方法增強了模型在不同深度保持信息的能力,從而提高了整體性能。在共享注意力層中加入旋轉位置嵌入也略微提高了性能,這表明 Zyphra 致力于在模型設計中進行漸進而有影響力的改進。
Zamba2-mini 是在一個包含三萬億個 token 的海量數(shù)據(jù)集上進行預訓練的,該數(shù)據(jù)集來自 Zyda 和其他公開來源。
這個龐大的數(shù)據(jù)集經(jīng)過了嚴格的過濾和重復處理,以確保獲得最高質量的訓練數(shù)據(jù),并在退火(annealing)階段對其進一步完善,其中包括在 1000 億個質量極高的 tokens 上進行訓練。
Zyphra 已承諾使 Zamba2-mini 成為 Apache 2.0 許可下的開源模型。
文章內(nèi)容僅供閱讀,不構成投資建議,請謹慎對待。投資者據(jù)此操作,風險自擔。
近日,德國柏林國際電子消費品展覽會(IFA2024)隆重舉辦。憑借在核心技術、產(chǎn)品設計及應用方面的創(chuàng)新變革,全球領先的智能終端企業(yè)TCL實業(yè)成功斬獲兩項“IFA全球產(chǎn)品設計創(chuàng)新大獎”金獎,有力證明了其在全球市場的強大影響力。
近日,中國家電及消費電子博覽會(AWE 2024)隆重開幕。全球領先的智能終端企業(yè)TCL實業(yè)攜多款創(chuàng)新技術和新品亮相,以敢為精神勇闖技術無人區(qū),斬獲四項AWE 2024艾普蘭大獎。
“以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關材料,僅幾秒鐘,重慶市民曾某的賬戶就打進了21600元。
由世界人工智能大會組委會、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會共同指導,由上海市人工智能行業(yè)協(xié)會聯(lián)合上海人工智能實驗室、上海臨港經(jīng)濟發(fā)展(集團)有限公司、開放原子開源基金會主辦的“2024全球開發(fā)者先鋒大會”,將于2024年3月23日至24日舉辦。