月之暗面聯(lián)手UCLA推新模型Mixture-of-Expert，提升語(yǔ)言模型訓(xùn)練效率

　　在人工智能領(lǐng)域，Moonshot AI與UCLA聯(lián)合開發(fā)的Moonlight模型，采用Muon優(yōu)化器，顯著提升了大型語(yǔ)言模型的訓(xùn)練效率和穩(wěn)定性。

　　通過創(chuàng)新的牛頓-舒爾茨迭代法和權(quán)重衰減技術(shù)，Moonlight在多個(gè)任務(wù)上超越了傳統(tǒng)的AdamW優(yōu)化器，尤其在語(yǔ)言理解和代碼生成方面表現(xiàn)優(yōu)異。

　　Moonlight模型是由Moonshot AI與UCLA聯(lián)合開發(fā)的Mixture-of-Expert模型，提供30億和160億參數(shù)配置，訓(xùn)練使用了5.7萬億個(gè)標(biāo)記。

　　Muon優(yōu)化器通過牛頓-舒爾茨迭代法和權(quán)重衰減技術(shù)，顯著提高了大型模型訓(xùn)練的效率和穩(wěn)定性。

　　實(shí)證結(jié)果顯示，Moonlight在多個(gè)任務(wù)上優(yōu)于傳統(tǒng)的AdamW訓(xùn)練模型，表現(xiàn)出更好的語(yǔ)言理解和代碼生成能力。