視頻生成控制提升幾十倍，新一代輕量級ControlNeXt火了，賈佳亞團隊正挑戰(zhàn)Scaling Law

　　最近，又一款國產 AI 神器吸引了眾網友和圈內研究人員的關注!它就是全新的圖像和視頻生成控制工具 —— ControlNeXt，由思謀科技創(chuàng)始人、港科大講座教授賈佳亞團隊開發(fā)。

　　從命名來看，ControlNeXt 「致敬」了斯坦福大學研究團隊在2023年2月提出的 ControlNet，通過引入一些額外的控制信號，讓預訓練的圖像擴散模型(如 Stable Diffusion)根據預設的條件調整和優(yōu)化，實現線稿生成全彩圖，還能做語義分割、邊緣檢測、人體姿勢識別。

　　如果說 ControlNet 開啟了大模型多樣化玩法的先河，那么 ControlNeXt 在生成速度、精準控制和用戶友好性等方面迎來全方位優(yōu)化。重要的是，ControlNeXt 只用不到 ControlNet10% 的訓練參數，可以稱得上是下一代「小鋼炮版」ControlNet 了。

　　截至目前，ControlNeXt 兼容了多款 Stable Diffusion 家族圖像生成模型(包括 SD1.5、SDXL、SD3)，以及視頻生成模型 SVD。并且，ControlNeXt 對這些模型都做到即插即用，無需額外配置便能輕松玩轉各種控制指令，便捷性拉滿。該項目的 GitHub 星標已達1.1k。

　　實戰(zhàn)效果究竟如何?下面一波 ControlNeXt 的 Demo 示例會給我們答案。

　　ControlNeXt 支持 Canny(邊緣)條件控制，在 SDXL 中，通過提取下圖(最左)輸入圖像的 Canny 邊緣，輸出不同風格的圖像。

　　當然，更復雜的畫面輪廓和控制線條也能輕松搞定。

　　ControlNeXt 還支持掩模(mask)和景深(depth)條件控制，下圖分別為 SD1.5中掩模與景深可控生成效果，很有一筆成畫的味道。

　　同樣在 SD1.5中，ControlNeXt 支持姿勢(pose)條件控制，并且無需訓練即可無縫集成各種 LoRA 權重。配合使用人體姿勢控制與 LoRA，在保持動作相同的前提下，多樣風格的人物呼之欲出，比如戰(zhàn)士(Warrior)、原神(Genshin)、國畫(Chinese Painting)和動畫(Animation)。

　　使用 ControlNeXt 后，SD3支持了超分辨率(SR)，讓模糊圖像「變身」超高清畫質。

　　在視頻生成模型 SVD 中，ControlNeXt 實現了對人體姿勢動作的整體控制，尤其連手指動作的模仿都非常精準。

　　不夸張的說，在視覺條件生成這塊，ControlNeXt 成為了更全能的「選手」。它的亮眼視效折服了網友，甚至有人認為「ControlNeXt 是游戲改變者，在可控圖像和視頻生成方面表現出色，可以想象未來社區(qū)會拿它做更多二創(chuàng)工作。」

　　而 ControlNeXt 體驗全方位提升的背后，離不開賈佳亞團隊在輕量級條件控制模塊設計、控制注入位置和方式的選擇、交叉歸一化技術的使用等多個方面的獨到思路。

　　正是有了這些創(chuàng)新，才帶來了 ControlNeXt 訓練參數、計算開銷和內存占用的全面「瘦身」，以及模型訓練收斂和推理層面的「提速」。

　　架構創(chuàng)新

　　讓 ControlNeXt 更輕、更快、更強

　　在剖析 ControlNeXt 有哪些創(chuàng)新之前，我們先來了解一下當前可控生成方法的不足，這樣更能看到賈佳亞團隊在架構上「有的放矢」的優(yōu)化。

　　以 ControlNet、T2I-Adapter 等典型方法為例，它們通過添加并行分支或適配器來處理和注入額外條件。接下來與去噪主分支并行處理輔助控制以提取細粒度特征，利用零卷積和交叉注意力來整合條件控制并指導去噪過程。

　　這些操作往往會帶來計算成本和訓練開銷的顯著增加，甚至導致 GPU 內存增加一倍，還需要引入大量新的訓練參數。尤其針對視頻生成模型，需要重復處理每個單獨幀，挑戰(zhàn)更大。

　　賈佳亞團隊首先要做的便是架構層面的剪枝。他們認為，預訓練的大型生成模型已經足夠強大，無需引入大量額外參數來實現控制生成能力。ControlNeXt 移除 ControlNet 中龐大的控制分支（control branch），改而使用由多個 ResNet 塊組成的輕量級卷積模塊。

　　ControlNeXt 整體訓練流程

　　該模塊的規(guī)模比預訓練模型小得多，用于從控制條件中提取景深、人體姿勢骨骼、邊緣圖等特征表示，并與去噪特征對齊。過程中更多依賴模型本身來處理控制信號，在訓練期間凍結大部分預訓練模塊，并有選擇性地優(yōu)化模型的一小部分可學習參數，最大程度降低訓練過程中可能出現的遺忘風險。

　　從結果來看，在適配 SD、SDXL、SVD 等預訓練模型時，ControlNeXt 的訓練參數量通常不及 ControlNet 的10%，計算開銷和內存占用大大降低。ControlNeXt 在 SD1.5、SDXL 和 SVD 中的可學習參數量分別為3000萬、1.08億和5500萬，相較于 ControlNet 有了數量級減少(3.61億、12.51億和6.82億)。

　　同時輕量級模塊的引入使得 ControlNeXt 在推理階段不會出現明顯的延遲，因而生成速度會更快。如下圖所示，在 SD1.5、SDXL 和 SVD 模型中，ControlNeXt 的推理時間更短，相較于 ControlNet 更具效率優(yōu)勢。

　　另一方面，ControlNeXt 在控制條件的注入層面做了創(chuàng)新。他們觀察到，在大多數可控生成任務中，條件控制的形式往往很簡單或與去噪特征保持高度一致，因而沒有必要在去噪網絡的每一層重復注入控制信息。

　　賈佳亞團隊選擇在網絡中間層聚合并對齊條件控制特征與去噪特征，這里用到了關鍵的交叉歸一化（Cross Normalization）技術。該技術讓 ControlNeXt 不用像傳統(tǒng)方法那樣利用零初始化來引入額外學習參數，還解決了初始化階段的訓練不穩(wěn)定性和收斂速度慢等問題。

　　得益于交叉歸一化，ControlNeXt 的訓練速度得到提升，并在訓練初期也能確保生成控制的有效性，降低對網絡權重初始化的敏感度。從下圖可以看到，ControlNeXt 實現了更快的訓練收斂和數據擬合，只需要400步左右便開始收斂。相比之下，ControlNet 則需要走完十倍甚至幾十倍的訓練步數。

　　可以說，ControlNeXt 很好解決了以往可控生成方法存在的較高計算成本、GPU 內存占用和推理時延，用更少參數、更低成本實現了與以往方法相當甚至更好的控制效果和泛化性能。

　　而跳出此次研究本身，ControlNeXt 也是過去兩年賈佳亞團隊努力方向的寫照，他們致力于拿少參數、少算力來深挖大模型潛能。這顯然與當前大模型領域的「摩爾定律」Scaling Law 走的是不同的路，后者通常憑借大參數、大數據和大算力來提升模型性能。

　　不盲跟 Scaling Law

　　走出不一樣的大模型之路

　　當前，Scaling Law 仍然在發(fā)揮著作用，通過「加碼」參數、數據和算力來增效是大多數圈內玩家的主流做法，OpenAI 的 GPT 系列模型是其中的典型代表，對大模型領域產生了深遠的影響。

　　隨之而來的是更高的訓練成本、更多的數據和計算資源，這些不會對財力雄厚的大廠們造成太多壓力。但對那些預算相對不足的科研機構和個人開發(fā)者而言，挑戰(zhàn)很大，尤其是當下 GPU 顯卡還越來越貴。

　　其實，拼 Scaling Law 并不是模型提效的唯一途徑，從長期看也有局限性。很多業(yè)內人士認為，隨著時間推移，當模型參數規(guī)模達到一定程度時，性能提升速度可能會放緩。同時高質量訓練數據的持續(xù)獲取也是亟需解決的一大難題。

　　今年6月，普林斯頓大學計算機科學系教授 Arvind Narayanan 等二人在他們的文章《AI scaling myths》中表示 AI 行業(yè)正經歷模型規(guī)模下行的壓力，過去一年大部分開發(fā)工作落在了小模型上，比如 Anthropic 的 Claude3.5Sonnet、谷歌的 Gemini1.5Pro，甚至 OpenAI 也推出了 GPT-4o mini，參數規(guī)模雖小、性能同樣強大且更便宜。

　　賈佳亞團隊秉持類似理念，沒有選擇無限堆數據、參數和算力的傳統(tǒng)做法。2024世界機器人大會上，賈佳亞在接受采訪時談到了 Scaling Law，他表示在自己團隊的研究中不會對它進行明確的定義，使用1萬張卡訓練出來的模型或系統(tǒng)不一定就比5000張卡訓練出的更好。

　　賈佳亞認為應該更多地在模型算法層面進行創(chuàng)新，在工程層面最大程度地提高 GPU 顯卡的利用率、降低功耗，力求用更少的計算量達到同樣的效果。

　　同時關注偏垂類的行業(yè)和場景，通過持續(xù)的技術迭代，把算力等資源投入集中在一點，將某個領域的模型做得更精、更專，而不像其他玩家那樣耗巨資開發(fā)超大規(guī)模通用大模型。

　　小算力也能出大成果

　　包括 ControlNeXt 在內，不盲從 Scaling Law 的思路已經在賈佳亞團隊過去兩年的系列成果中得到了充分驗證，覆蓋了多模態(tài)大模型、超長文本擴展技術和視覺語言模型等多個研究方向。

　　2023年8月，賈佳亞團隊提出 LISA，解鎖多模態(tài)大模型「推理分割」能力。LISA 只需要在8張24GB 顯存的3090顯卡上進行10000次迭代訓練，即可完成70億參數模型的訓練。

　　結果表明，LISA 在訓練中僅使用不包含復雜推理的分割數據，就能在推理分割任務上展現出優(yōu)異的零樣本泛化能力，并在使用額外的推理分割數據微調后讓分割效果更上一個臺階。

　　LISA 效果展示

　　LISA 的成功只是少算力探索的牛刀小試，賈佳亞團隊在2023年10月提出了超長文本擴展技術 LongLoRA，在單臺8x A100設備上，LongLoRA 將 LLaMA27B 從4k 上下文擴展到100k， LLaMA270B 擴展到32k。LongLoRA 還被接收為 ICLR2024Oral。

　　在喂給 LongLoRA 加持的 Llama2-13B 超長篇幅的科幻巨著《三體》后，它可以為你詳細總結「史強對整個人類社會的重要性」。

　　該團隊還于2023年12月提出 LLaMA-VID，旨在解決視覺語言模型在處理長視頻時因視覺 token 過多導致的計算負擔，通過將視頻中每一幀圖像的 token 數壓縮到了2個，實現了單圖之外短視頻甚至3小時時長電影的輸入處理。

　　LLaMA-VID 被 ECCV2024接收。此外，賈佳亞團隊還提供了 LLaMA-VID 試用版本，由單個3090GPU 實現，支持30分鐘的視頻處理。感興趣的小伙伴可以嘗試一下。

　　今年4月，賈佳亞團隊又提出了 Mini-Gemini，從高清圖像精確理解、高質量數據集、結合圖像推理與生成三個層面挖掘視覺語言模型的潛力。

　　為了增強視覺 token，Mini-Gemini 利用額外的視覺編碼器來做高分辨率優(yōu)化。同時僅使用2-3M 數據，便實現了對圖像理解、推理和生成的統(tǒng)一流程。實驗結果表明，Mini-Gemini 在各種 Zero-shot 的榜單上毫不遜色各大廠用大量數據堆出來的模型。

　　在延續(xù)谷歌 Gemini 識別圖片內容并給出建議的能力基礎上，Mini-Gemini 還能生成一只對應的毛絨小熊

　　對于開源社區(qū)最大的好消息是，Mini-Gemini 的代碼、模型和數據全部開源，讓開發(fā)者們體驗「GPT-4+ Dall-E3」的強大組合。賈佳亞透露，Mini-Gemini 第二個版本即將到來，屆時將接入語音模塊。

　　得益于開源以及算力需求相對低的特性，賈佳亞團隊的項目在 GitHub 上受到了開發(fā)者的廣泛喜愛，LISA、LongLoRA 和 Mini-Gemini 的星標數分別達到了1.7k、2.6k 和3.1k。

　　從 LISA 到最新提出的 ControlNeXt，賈佳亞團隊走穩(wěn)了少參數、小算力突破這條路。由于計算資源投入不大，這些模型也更容易實現商業(yè)化應用落地。

　　可以預見，未來在持續(xù)技術創(chuàng)新的驅動下，我們將看到更多「小而彌堅」的大模型成果出現。