海德堡大學(xué)發(fā)布優(yōu)化版本ContorlNet模型ConTorlNetXS

　　海德堡大學(xué)最近發(fā)布了一個(gè)名為ConTorlNetXS的優(yōu)化版本的ControlNet模型，該模型在圖像生成方面的性能得到了極大提升。這一項(xiàng)目的研究重點(diǎn)是控制基于穩(wěn)定擴(kuò)散模型的圖像生成過(guò)程，通過(guò)對(duì)ControlNet的大小和架構(gòu)進(jìn)行優(yōu)化，取得了令人矚目的成果。

　　ConTorlNetXS的參數(shù)僅為原始模型的1%，但在推理和訓(xùn)練時(shí)間上提高了兩倍，同時(shí)生成的圖片質(zhì)量更高，控制更加精準(zhǔn)。研究人員將這一新架構(gòu)命名為ControlNet-XS，并展示了其比原始ControlNet表現(xiàn)更好的結(jié)果，尤其在FID分?jǐn)?shù)方面表現(xiàn)出色。

　　原始的ControlNet是基于StableDiffusion基礎(chǔ)模型中U-Net編碼器的副本，接收與基礎(chǔ)模型相同的輸入，并附加一個(gè)類似邊緣圖的引導(dǎo)信號(hào)。在訓(xùn)練過(guò)程中，ControlNet的中間輸出添加到基礎(chǔ)模型的解碼器層的輸入中。然而，這種方法存在概念上的問(wèn)題，導(dǎo)致ControlNet過(guò)于龐大，并且生成圖像的質(zhì)量明顯降低。

　　為了解決這一問(wèn)題，研究人員對(duì)ControlNet進(jìn)行了優(yōu)化，將連接從編碼器基礎(chǔ)模型添加到控制編碼器，使得糾正可以更快地適應(yīng)基礎(chǔ)模型的生成過(guò)程。然而，這一方法并未完全消除延遲，因?yàn)榛�礎(chǔ)模型的編碼器仍然沒有受到引導(dǎo)。因此，他們直接將額外的連接添加到基礎(chǔ)模型的編碼器中，直接影響整個(gè)生成過(guò)程，最終實(shí)現(xiàn)了ControlNet-XS的優(yōu)化版本。

　　研究人員對(duì)三種ControlNet-XS的變體(A、B、C)相對(duì)于原始的ControlNet在COCO2017的驗(yàn)證集上的FID分?jǐn)?shù)表現(xiàn)進(jìn)行了評(píng)估。結(jié)果顯示，所有的變體都取得了顯著的改進(jìn)，同時(shí)只使用了原始ControlNet參數(shù)的一小部分。這一成果將為圖像生成領(lǐng)域帶來(lái)重大影響，有望推動(dòng)該領(lǐng)域的進(jìn)一步發(fā)展和應(yīng)用。