Make-It-Vivid：通過文字描述生成3D卡通動畫角色

　　在創(chuàng)造生動的3D動畫角色時，面臨著這樣的挑戰(zhàn)，除了要滿足特定領(lǐng)域的高要求比如角色需要有獨特風格和豐富細節(jié)，還缺乏高質(zhì)量的數(shù)據(jù)支撐�，F(xiàn)有方法通常無法生成具有豐富細節(jié)，和過度自然的紋理，使得角色看起來不真實，不夠生動。

　　因此，來自上海交通大學的海AI實驗室和清華大學的研究團隊，研究著眼于基于輸入指令為卡通角色自動生成紋理設(shè)計。為了解決領(lǐng)域特定需求和高質(zhì)量數(shù)據(jù)不足的挑戰(zhàn)，他們提出了 “Make-It-Vivid” 方法，這是首次嘗試從文本中在 UV 空間生成高質(zhì)量紋理。

　　這個框架能夠根據(jù)文本描述自動生成高質(zhì)量的3D紋理。該方法通過使用視覺問答代理生成了詳細的文本 - 紋理配對數(shù)據(jù)，為3D 角色準備了數(shù)據(jù)。然后，他們定制了一個預(yù)訓(xùn)練的文本到圖像模型，以模板結(jié)構(gòu)生成紋理地圖，同時保留自然的2D 圖像知識。此外，為了增強細粒度細節(jié)，他們提出了一種新穎的對抗學習方案，縮短了原始數(shù)據(jù)集與真實紋理領(lǐng)域之間的域差。

　　大量實驗證明，他們的方法優(yōu)于當前的紋理生成方法，實現(xiàn)了高效的角色紋理處理和根據(jù)提示生成忠實的結(jié)果。此外，他們展示了各種應(yīng)用，如域外生成和紋理風格化。他們還提供了一個高效的生成系統(tǒng)，用于自動文本引導(dǎo)的紋理角色生成和動畫。

　　這一方法接受一對數(shù)據(jù)作為輸入，包括一個紋理地圖、相應(yīng)的文本描述 P 和網(wǎng)格模型 M。他們對預(yù)訓(xùn)練的文本到圖像擴散模型的低秩適配器∆θ 進行微調(diào)，以生成高質(zhì)量 UV 紋理。為了提高合成紋理的質(zhì)量和感知保真度，他們引入了對抗訓(xùn)練來增強紋理細節(jié)。他們利用由 ControlNet 生成的渲染深度條件的合成可信圖像作為指導(dǎo)，引導(dǎo)這種對抗性訓(xùn)練。