月之暗面發(fā)布Muon優(yōu)化技術(shù)，Moonlight模型實(shí)現(xiàn)高效訓(xùn)練突破

　　月之暗面Kimi昨日發(fā)布了一份關(guān)于“Muon可擴(kuò)展用于LLM訓(xùn)練”的新技術(shù)報(bào)告，并正式推出基于Muon訓(xùn)練的混合專家模型(MoE)“Moonlight”。該模型包含30億和160億參數(shù)兩個(gè)版本，通過5.7萬億個(gè)token的訓(xùn)練數(shù)據(jù)，在更低浮點(diǎn)運(yùn)算次數(shù)(FLOPs)下實(shí)現(xiàn)了更優(yōu)性能，顯著提升了帕累托效率邊界。

　　月之暗面團(tuán)隊(duì)表示，Muon優(yōu)化器通過添加權(quán)重衰減、精細(xì)調(diào)整參數(shù)更新幅度等技術(shù)，能夠在大規(guī)模訓(xùn)練中開箱即用，無需超參數(shù)調(diào)優(yōu)。實(shí)驗(yàn)表明，Muon的計(jì)算效率比AdamW高出約2倍。

　　此次發(fā)布的Moonlight-16B-A3B模型總參數(shù)量為15.29億，激活參數(shù)為2.24億，展示了Muon優(yōu)化器在高效訓(xùn)練中的潛力。團(tuán)隊(duì)還開源了分布式版本的Muon實(shí)現(xiàn)，優(yōu)化了內(nèi)存使用和通信效率，并發(fā)布了預(yù)訓(xùn)練模型、指令調(diào)優(yōu)模型及中間訓(xùn)練檢查點(diǎn)，為后續(xù)研究提供支持。