OpenAI發(fā)布sCM提升50倍效率，擴(kuò)散模型重大技術(shù)突破！

　　今天凌晨，OpenAI發(fā)布了全新擴(kuò)散模型方法sCM，僅需2步就能生成高質(zhì)量圖片、3D模型等實(shí)現(xiàn)50倍時(shí)鐘加速，尤其是在高分辨率任務(wù)上相當(dāng)出色。

　　例如，通過(guò)sCM訓(xùn)練了一個(gè)15億參數(shù)的模型，在單個(gè)A100GPU上無(wú)需任何推理優(yōu)化0.11秒內(nèi)就能生成內(nèi)容。

　　目前，擴(kuò)散模型生成圖片最快的是Stability AI開(kāi)源的SD快速版本，4步就能生成高質(zhì)量圖片。而Scm在保證質(zhì)量的前提下又將推理效率提升了1倍，同時(shí)簡(jiǎn)化了連續(xù)時(shí)間一致性模型的理論公式，允許模型在更大數(shù)據(jù)集上進(jìn)行穩(wěn)定的訓(xùn)練和擴(kuò)展。

　　sCM的核心原理是基于一致性模型思路，通過(guò)直接將噪聲轉(zhuǎn)換為無(wú)噪聲樣本來(lái)生成數(shù)據(jù)。在傳統(tǒng)擴(kuò)散模型中，數(shù)據(jù)生成過(guò)程被視作一條從噪聲到數(shù)據(jù)的漸進(jìn)路徑，每一步都通過(guò)去噪來(lái)逐漸恢復(fù)數(shù)據(jù)的清晰度。

　　一致性模型則恰恰相反，可找到一條更直接的路徑，在單步或少數(shù)幾步內(nèi)直接從噪聲狀態(tài)跳躍到數(shù)據(jù)狀態(tài)。

　　sCM采用了連續(xù)時(shí)間框架，使得模型在理論上可以在連續(xù)的時(shí)間軸上進(jìn)行操作，從而避免了離散時(shí)間模型中的離散化誤差。在連續(xù)時(shí)間于一致性模型中，模型的參數(shù)化、擴(kuò)散過(guò)程和訓(xùn)練目標(biāo)都被重新定義，以適應(yīng)連續(xù)時(shí)間的設(shè)置。

　　例如，模型的參數(shù)化不再依賴于離散的時(shí)間步，而是直接依賴于時(shí)間本身。這種連續(xù)時(shí)間的參數(shù)化方式使得模型能夠更精確地捕捉數(shù)據(jù)生成過(guò)程中的動(dòng)態(tài)變化。

　　在網(wǎng)絡(luò)架構(gòu)方面，sCM引入了改進(jìn)的時(shí)間條件、自適應(yīng)組歸一化、新的激活函數(shù)和自適應(yīng)權(quán)重，以提高模型的訓(xùn)練穩(wěn)定性和生成質(zhì)量。改進(jìn)的時(shí)間條件使得模型能夠更準(zhǔn)確地感知時(shí)間t的變化，從而在生成過(guò)程中做出更合理的決策。

　　自適應(yīng)組歸一化則有助于模型在訓(xùn)練過(guò)程中保持內(nèi)部特征的穩(wěn)定性，減少訓(xùn)練過(guò)程中的噪聲干擾。新的激活函數(shù)被引入以增強(qiáng)模型的非線性表達(dá)能力，使得模型能夠更好地學(xué)習(xí)復(fù)雜的數(shù)據(jù)分布。

　　而自適應(yīng)權(quán)重的引入允許模型根據(jù)訓(xùn)練數(shù)據(jù)的分布動(dòng)態(tài)調(diào)整損失函數(shù)中的權(quán)重，從而減少了不同時(shí)間步長(zhǎng)之間的損失方差。

　　為了評(píng)估sCM的性能，研究人員在CIFAR-10、ImageNet64×64和ImageNet512×512多個(gè)數(shù)據(jù)集上進(jìn)行了綜合評(píng)測(cè)。結(jié)果顯示，sCM成為目前最高效的擴(kuò)散生成方法。

　　例如，在ImageNet512×512數(shù)據(jù)集上，sCM的模型達(dá)到了1.88FID，同時(shí)使用的算力更少、更高效。

　　有網(wǎng)友表示，如果把這個(gè)方法用在視頻領(lǐng)域，那實(shí)時(shí)視頻可能很快會(huì)到來(lái)。Sora的推理負(fù)擔(dān)也會(huì)降低很多。

　　很高興又看到OpenAI分享技術(shù)論文了。

　　如果把這個(gè)技術(shù)用在Sora，它應(yīng)該快公測(cè)了吧?

　　這種簡(jiǎn)化的模型非常適合需要快速結(jié)果而不影響質(zhì)量的應(yīng)用!

　　這個(gè)模型相當(dāng)有前途啊。

　　2步就能生成內(nèi)容，這會(huì)再一次改變游戲規(guī)則啊。

　　把這個(gè)技術(shù)用在Sora，應(yīng)該就快來(lái)了吧?

　　目前，OpenAI已經(jīng)分享了該論文方法，是由兩位華人提出來(lái)的。