支持Animatediff所有控制方式！AnimateLCM 4步推理即可生成視頻

　　2月2日 消息:又有團(tuán)隊(duì)開卷視頻生成了!這個(gè)項(xiàng)目在視頻生成方面非常優(yōu)秀。它使用了一致性模型(Consistency Model， CM)的啟發(fā)，簡化了預(yù)訓(xùn)練的圖像擴(kuò)散模型以加速采樣過程。這一模型還成功擴(kuò)展到了潛在一致性模型(Latent Consistency Model， LCM)，用于條件圖像生成，最終形成了AnimateLCM。

　　AnimateLCM能夠在很少的步驟中生成高質(zhì)量的視頻。相比直接在原始視頻數(shù)據(jù)集上應(yīng)用一致性學(xué)習(xí)，該項(xiàng)目提出了一種解耦的一致性學(xué)習(xí)策略，分別對(duì)圖像生成的基礎(chǔ)知識(shí)和運(yùn)動(dòng)生成的基礎(chǔ)知識(shí)進(jìn)行提煉。這種策略提高了訓(xùn)練效率并提升了生成視頻的視覺質(zhì)量。

　　此外，為了結(jié)合穩(wěn)定擴(kuò)散社區(qū)中的即插即用適配器來實(shí)現(xiàn)各種功能，比如使用ControlNet進(jìn)行可控制的視頻生成，該項(xiàng)目提出了一種高效的策略。這個(gè)策略不僅可以將現(xiàn)有的適配器調(diào)整到文本條件視頻一致性模型中，還可以從零開始訓(xùn)練適配器，而不會(huì)影響采樣速度。

　　在基于圖像的視頻生成和基于布局的視頻生成中，AnimateLCM都取得了優(yōu)異的成績。從演示來看視頻效果也很不錯(cuò)，支持現(xiàn)有 SD 生態(tài) Animatediff 的所有控制方式，將LCM用在視頻生成只需要4步推理就可以生成視頻。目前，AnimateLCM暫未發(fā)布代碼和權(quán)重，期待能夠盡快上代碼。