谷歌發(fā)布革命性模型訓(xùn)練方法HyperDreamBooth 20秒完成模型訓(xùn)練

　　谷歌發(fā)布了一項(xiàng)名為HyperDreamBooth的革命性模型訓(xùn)練方法，該方法在生成AI領(lǐng)域取得了顯著的進(jìn)步，尤其是在個(gè)性化模型訓(xùn)練方面。然而，盡管這一技術(shù)具有突破性，谷歌并沒(méi)有計(jì)劃將其開(kāi)源。

　　主要特點(diǎn):

　　超快速訓(xùn)練:能在20秒內(nèi)完成模型訓(xùn)練，這比DreamBooth快了25倍，比Textual Inversion快了125倍。

　　個(gè)性化權(quán)重的超網(wǎng)絡(luò):從單張人像生成一小組個(gè)性化權(quán)重，這使得模型能夠捕捉到個(gè)體的特征。

　　高質(zhì)量和風(fēng)格多樣性:盡管只需一張參考圖像，生成的模型在質(zhì)量和風(fēng)格多樣性上與DreamBooth相當(dāng)。

　　極小的模型尺寸:生成的模型比普通DreamBooth模型小10000倍，這極大地減少了存儲(chǔ)需求。

　　HyperDreamBooth通過(guò)使用HyperNetwork技術(shù)，有效地從單個(gè)人物圖像中生成個(gè)性化權(quán)重，這些權(quán)重隨后被組合到擴(kuò)散模型中。結(jié)合快速微調(diào)，該方法能夠在極短的時(shí)間內(nèi)生成具有高度主題細(xì)節(jié)的面部圖像，同時(shí)保留了對(duì)多樣化風(fēng)格和語(yǔ)義修改的敏感性。

　　谷歌提出的解決方案還包括:

　　輕量級(jí)DreamBooth(LiDB):一個(gè)個(gè)性化文本到圖像模型，其定制部分僅有約100KB大小，通過(guò)在低秩適應(yīng)權(quán)重空間內(nèi)生成隨機(jī)正交不完整基礎(chǔ)來(lái)訓(xùn)練DreamBooth模型。

　　結(jié)合輕量級(jí)DreamBooth配置:定制部分與給定主題生成文本到圖像擴(kuò)散模型權(quán)重的架構(gòu)相結(jié)合，提供了強(qiáng)大的方向初始化，使得模型能夠在幾次迭代內(nèi)實(shí)現(xiàn)強(qiáng)大的主題保真度。

　　秩松弛微調(diào)技術(shù):在優(yōu)化過(guò)程中放松LoRA DreamBooth模型的秩，以實(shí)現(xiàn)更高的主題保真度。這種方法允許使用HyperNetwork進(jìn)行初始近似初始化個(gè)性化模型，并使用秩松弛微調(diào)技術(shù)近似高級(jí)主題細(xì)節(jié)。

　　HyperDreamBooth的發(fā)布代表了AI個(gè)性化模型訓(xùn)練的一個(gè)重大進(jìn)步，盡管其不開(kāi)源的決定可能會(huì)限制其他研究者和開(kāi)發(fā)者直接利用這項(xiàng)技術(shù)的能力。谷歌的這一貢獻(xiàn)為AI領(lǐng)域提供了新的可能性，同時(shí)也為未來(lái)的研究和應(yīng)用設(shè)定了新的標(biāo)準(zhǔn)。