字節(jié)跳動豆包大模型團隊發(fā)布全新稀疏架構 UltraMem 推理速度提升2-6倍

　　字節(jié)跳動豆包大模型團隊今日宣布推出全新的稀疏模型架構 UltraMem。該架構有效解決了 MoE(專家混合)推理時的高額訪存問題，使得推理速度較 MoE 架構提升了2-6倍，推理成本最高可降低83%。

　　UltraMem 通過將計算和參數(shù)解耦，在保證模型效果的前提下顯著優(yōu)化了推理性能。實驗結果顯示，訓練規(guī)模達2000萬 value 的 UltraMem 模型在同等計算資源下實現(xiàn)了業(yè)界領先的推理速度和性能，為構建數(shù)十億規(guī)模 value 或 expert 開辟了新路徑。

　　此外，UltraMem 的 Scaling Law 研究表明其具備優(yōu)異的擴展特性，并且在常見 batch size 規(guī)模下，其訪存成本幾乎與同計算量的 Dense 模型相當。這一創(chuàng)新有望大幅降低大規(guī)模語言模型(LLM)的推理成本，提高處理效率。