視頻版ControlNet開源 CoDeF靠提示詞就能精準切換畫風(fēng)

　　最新視頻處理算法 CoDeF 發(fā)布不久就引起網(wǎng)友熱議，它能將原視頻改變畫風(fēng)但保持其他細節(jié)不變。該算法由全華人團隊開發(fā)，已在 GitHub 上開源。

　　CoDeF 能根據(jù)提示詞精準控制視頻元素改變，比如將風(fēng)景紀錄片秒變?yōu)閲�風(fēng)水墨大作。它還能跟蹤水流動向和穗子擺動頻率，細節(jié)處理使效果更逼真。此外，CoDeF 也可以讓電影角色一鍵變老，將皺紋添加到臉上而其他細節(jié)不受影響。

　　CoDeF 是一種創(chuàng)新的視頻處理方法，通過規(guī)范內(nèi)容場和時間變形場的優(yōu)化，實現(xiàn)視頻重構(gòu)和各種圖像算法在視頻上的應(yīng)用擴展，該算法能夠?qū)崿F(xiàn)更加真實時、強細節(jié)、高保真的視頻重建。與現(xiàn)有的視頻處理方法相比，CoDeF 具有更好的跨幀一致性，并能夠處理非剛性物體。

　　該方法通過粒度逐步細化的訓(xùn)練過程，平衡了規(guī)范圖像的自然性和重建的還原性。實驗結(jié)果表明，該方法的重建質(zhì)量顯著提高，PSNR 增加了約4.4，規(guī)范圖像的自然性也有明顯改善。

　　此外，該方法還可以應(yīng)用于視頻超分辨率、視頻對象分割、視頻關(guān)鍵點跟蹤等圖像算法的任務(wù)，并保持卓越的時間一致性�？偟膩碚f，該視頻重建算法具有較強的性能，展示了其在視頻處理領(lǐng)域的潛力。

　　特點:

　　1. CoDeF 是一種全新的視頻表示方法，由一個規(guī)范內(nèi)容場和一個時間變形場組成。

　　2. 規(guī)范內(nèi)容場聚合整個視頻中的靜態(tài)內(nèi)容，時間變形場記錄了從規(guī)范圖像到每個單獨幀的變形過程。

　　3. 可以通過優(yōu)化這兩個場來重構(gòu)目標視頻，通過精心設(shè)計的渲染流程實現(xiàn)。

　　4. 引入了一些正則化方法，使規(guī)范內(nèi)容場從視頻中繼承語義信息(例如物體形狀)。

　　5. CoDeF 支持將圖像算法應(yīng)用于視頻處理，只需將算法應(yīng)用于規(guī)范圖像，再借助時間變形場將結(jié)果傳播到整個視頻中。

　　6. CoDeF 能夠?qū)�圖像到圖像的轉(zhuǎn)換擴展到視頻到視頻的轉(zhuǎn)換，以及將關(guān)鍵點檢測擴展到關(guān)鍵點跟蹤，無需任何訓(xùn)練。

　　7. 通過在只有一張圖像上應(yīng)用算法的擴展策略，CoDeF 在處理的視頻中實現(xiàn)了更好的跨幀一致性，甚至可以跟蹤非剛性物體如水和煙霧。