Meta提出TextureDreamer：利用擴(kuò)散模型生成完整的3D模型紋理貼圖

　　1月19日 消息:高質(zhì)量的3D內(nèi)容對于AR/VR、機(jī)器人技術(shù)、電影和游戲等應(yīng)用至關(guān)重要。然而，紋理的創(chuàng)作一直是視覺和圖形領(lǐng)域的挑戰(zhàn)之一。傳統(tǒng)方法需要密集的視角采樣和準(zhǔn)確對齊的幾何信息，而學(xué)習(xí)方法則受限于特定數(shù)據(jù)集內(nèi)的類別形狀。

　　本文提出了TextureDreamer方法，通過少量圖像(3至5張)引導(dǎo)，實現(xiàn)了從真實環(huán)境中合成紋理并轉(zhuǎn)移到任意對象的目標(biāo)3D形狀。其核心思想是個性化幾何感知分?jǐn)?shù)蒸餾(PGSD)，結(jié)合了個性化建模、變分分?jǐn)?shù)蒸餾和顯式幾何引導(dǎo)。與以往方法相比，TextureDreamer在紋理質(zhì)量上取得了顯著改進(jìn)，成功實現(xiàn)了對不同幾何形狀的逼真、語義豐富的紋理轉(zhuǎn)移。

　　實驗證明，TextureDreamer超越了先前的最先進(jìn)方法，極大地推動了紋理創(chuàng)作的民主化。通過對Dreambooth、ControlNet和分?jǐn)?shù)蒸餾等關(guān)鍵技術(shù)的綜合應(yīng)用，TextureDreamer展現(xiàn)了在圖像引導(dǎo)紋理合成領(lǐng)域的卓越性能。