中山大學(xué)等提出ScaleLong擴(kuò)散模型 scaling操作可以穩(wěn)定模型訓(xùn)練

　　3月1日 消息:擴(kuò)散模型中，UNet的long skip connection上的scaling操作被證實(shí)能夠穩(wěn)定模型訓(xùn)練。在一些流行的擴(kuò)散模型中，如Imagen和Score-based generative model中，已經(jīng)觀察到設(shè)置scaling系數(shù)可以有效加速模型的訓(xùn)練過程。

　　但是，過去這種操作缺乏具體的分析，只是經(jīng)驗(yàn)性地認(rèn)為能夠起到加速作用。現(xiàn)有研究發(fā)現(xiàn)，合理設(shè)置scaling系數(shù)可以緩解特征不穩(wěn)定，進(jìn)而提高模型對(duì)輸入擾動(dòng)的魯棒性。

　　這項(xiàng)研究也揭示了scaling系數(shù)對(duì)梯度量級(jí)的控制以及對(duì)輸入擾動(dòng)的穩(wěn)定性的影響。通過對(duì)擴(kuò)散模型任務(wù)中特征和參數(shù)的可視化，研究人員發(fā)現(xiàn)了模型訓(xùn)練過程中的不穩(wěn)定現(xiàn)象，這一發(fā)現(xiàn)促使他們?cè)趌ong skip connection上進(jìn)行Scaling來進(jìn)行統(tǒng)一地緩解。

　　通過引入可學(xué)習(xí)的模塊，如Learnable Scaling (LS) Method，可以自適應(yīng)地調(diào)整scaling系數(shù)，進(jìn)一步穩(wěn)定模型的訓(xùn)練。

　　此外，研究人員提出了一種無(wú)需額外參數(shù)的Constant Scaling (CS) Method，簡(jiǎn)化了模型實(shí)現(xiàn)過程。雖然LS在穩(wěn)定訓(xùn)練上表現(xiàn)更好，但CS仍然是一種值得嘗試的策略。這些方法的實(shí)現(xiàn)非常簡(jiǎn)潔，只需幾行代碼即可實(shí)現(xiàn)。最近的一些后續(xù)工作也進(jìn)一步驗(yàn)證了skip connection上scaling的重要性，為這一領(lǐng)域的發(fā)展提供了新的思路和方向。