個(gè)性化擴(kuò)散模型微調(diào)方法DiffuseKronA：個(gè)性化擴(kuò)散模型微調(diào)方法，大幅減少參數(shù)、合成高質(zhì)量圖像

　　2月28日 消息:近期，針對(duì)文本到圖像(T2I)生成模型領(lǐng)域中的個(gè)性化主題驅(qū)動(dòng)模型，出現(xiàn)了一些令人印象深刻的進(jìn)展，如 DreamBooth 和 BLIP-Diffusion。然而，這些模型普遍存在著對(duì)微調(diào)的需求較高和參數(shù)規(guī)模龐大的限制。

　　為了解決這些問題，研究人員引入了 DiffuseKronA，這是一種基于 Kronecker 乘積的自適應(yīng)模塊，不僅可以將可訓(xùn)練參數(shù)數(shù)量顯著降低多達(dá)35%，與 LoRA-DreamBooth 相比甚至降低了99.947%，還提高了圖像合成的質(zhì)量。DiffuseKronA 減少了對(duì)超參數(shù)敏感性的問題，提供了一致高質(zhì)量的生成圖像，從而減少了對(duì)大量微調(diào)的需求。

　　關(guān)鍵是，DiffuseKronA 減輕了對(duì)超參數(shù)敏感性的問題，能夠在一系列超參數(shù)范圍內(nèi)提供一致的高質(zhì)量生成，從而減少了對(duì)大量精細(xì)調(diào)整的必要性。此外，更可控的分解使 DiffuseKronA 更具解釋性，甚至可以實(shí)現(xiàn)高達(dá)50% 的減少，并且結(jié)果與 LoRA-Dreambooth 相媲美。

　　DiffuseKronA 的主要思想是利用 Kronecker 乘積來分解 UNet 模型中注意力層的權(quán)重矩陣，以實(shí)現(xiàn)高效的參數(shù)優(yōu)化。與 LoRA 中的低秩分解相比，DiffuseKronA 的 Kronecker 適配器提供了更高階的逼近，參數(shù)數(shù)量更少，靈活性更大。通過實(shí)驗(yàn)，DiffuseKronA 在生成圖像的穩(wěn)定性和文本對(duì)齊性方面均優(yōu)于 LoRA-DreamBooth，展現(xiàn)出更高的圖像生成質(zhì)量和更準(zhǔn)確的對(duì)象顏色分布。

　　綜合對(duì)比實(shí)驗(yàn)結(jié)果，DiffuseKronA 在視覺質(zhì)量、文本對(duì)齊性、可解釋性、參數(shù)效率和模型穩(wěn)定性等方面均優(yōu)于 LoRA-DreamBooth，為 T2I 生成模型的領(lǐng)域帶來了重大進(jìn)展。