視頻版ControlNet開(kāi)源 CoDeF靠提示詞就能精準(zhǔn)切換畫風(fēng)

　　最新視頻處理算法 CoDeF 發(fā)布不久就引起網(wǎng)友熱議，它能將原視頻改變畫風(fēng)但保持其他細(xì)節(jié)不變。該算法由全華人團(tuán)隊(duì)開(kāi)發(fā)，已在 GitHub 上開(kāi)源。

　　CoDeF 能根據(jù)提示詞精準(zhǔn)控制視頻元素改變，比如將風(fēng)景紀(jì)錄片秒變?yōu)閲?guó)風(fēng)水墨大作。它還能跟蹤水流動(dòng)向和穗子擺動(dòng)頻率，細(xì)節(jié)處理使效果更逼真。此外，CoDeF 也可以讓電影角色一鍵變老，將皺紋添加到臉上而其他細(xì)節(jié)不受影響。

　　CoDeF 是一種創(chuàng)新的視頻處理方法，通過(guò)規(guī)范內(nèi)容場(chǎng)和時(shí)間變形場(chǎng)的優(yōu)化，實(shí)現(xiàn)視頻重構(gòu)和各種圖像算法在視頻上的應(yīng)用擴(kuò)展，該算法能夠?qū)崿F(xiàn)更加真實(shí)時(shí)、強(qiáng)細(xì)節(jié)、高保真的視頻重建。與現(xiàn)有的視頻處理方法相比，CoDeF 具有更好的跨幀一致性，并能夠處理非剛性物體。

　　該方法通過(guò)粒度逐步細(xì)化的訓(xùn)練過(guò)程，平衡了規(guī)范圖像的自然性和重建的還原性。實(shí)驗(yàn)結(jié)果表明，該方法的重建質(zhì)量顯著提高，PSNR 增加了約4.4，規(guī)范圖像的自然性也有明顯改善。

　　此外，該方法還可以應(yīng)用于視頻超分辨率、視頻對(duì)象分割、視頻關(guān)鍵點(diǎn)跟蹤等圖像算法的任務(wù)，并保持卓越的時(shí)間一致性�？偟膩�(lái)說(shuō)，該視頻重建算法具有較強(qiáng)的性能，展示了其在視頻處理領(lǐng)域的潛力。

　　特點(diǎn):

　　1. CoDeF 是一種全新的視頻表示方法，由一個(gè)規(guī)范內(nèi)容場(chǎng)和一個(gè)時(shí)間變形場(chǎng)組成。

　　2. 規(guī)范內(nèi)容場(chǎng)聚合整個(gè)視頻中的靜態(tài)內(nèi)容，時(shí)間變形場(chǎng)記錄了從規(guī)范圖像到每個(gè)單獨(dú)幀的變形過(guò)程。

　　3. 可以通過(guò)優(yōu)化這兩個(gè)場(chǎng)來(lái)重構(gòu)目標(biāo)視頻，通過(guò)精心設(shè)計(jì)的渲染流程實(shí)現(xiàn)。

　　4. 引入了一些正則化方法，使規(guī)范內(nèi)容場(chǎng)從視頻中繼承語(yǔ)義信息(例如物體形狀)。

　　5. CoDeF 支持將圖像算法應(yīng)用于視頻處理，只需將算法應(yīng)用于規(guī)范圖像，再借助時(shí)間變形場(chǎng)將結(jié)果傳播到整個(gè)視頻中。

　　6. CoDeF 能夠?qū)�圖像到圖像的轉(zhuǎn)換擴(kuò)展到視頻到視頻的轉(zhuǎn)換，以及將關(guān)鍵點(diǎn)檢測(cè)擴(kuò)展到關(guān)鍵點(diǎn)跟蹤，無(wú)需任何訓(xùn)練。

　　7. 通過(guò)在只有一張圖像上應(yīng)用算法的擴(kuò)展策略，CoDeF 在處理的視頻中實(shí)現(xiàn)了更好的跨幀一致性，甚至可以跟蹤非剛性物體如水和煙霧。