Meta提出TextureDreamer：利用擴(kuò)散模型生成完整的3D模型紋理貼圖

　　1月19日 消息:高質(zhì)量的3D內(nèi)容對(duì)于AR/VR、機(jī)器人技術(shù)、電影和游戲等應(yīng)用至關(guān)重要。然而，紋理的創(chuàng)作一直是視覺(jué)和圖形領(lǐng)域的挑戰(zhàn)之一。傳統(tǒng)方法需要密集的視角采樣和準(zhǔn)確對(duì)齊的幾何信息，而學(xué)習(xí)方法則受限于特定數(shù)據(jù)集內(nèi)的類別形狀。

　　本文提出了TextureDreamer方法，通過(guò)少量圖像(3至5張)引導(dǎo)，實(shí)現(xiàn)了從真實(shí)環(huán)境中合成紋理并轉(zhuǎn)移到任意對(duì)象的目標(biāo)3D形狀。其核心思想是個(gè)性化幾何感知分?jǐn)?shù)蒸餾(PGSD)，結(jié)合了個(gè)性化建模、變分分?jǐn)?shù)蒸餾和顯式幾何引導(dǎo)。與以往方法相比，TextureDreamer在紋理質(zhì)量上取得了顯著改進(jìn)，成功實(shí)現(xiàn)了對(duì)不同幾何形狀的逼真、語(yǔ)義豐富的紋理轉(zhuǎn)移。

　　實(shí)驗(yàn)證明，TextureDreamer超越了先前的最先進(jìn)方法，極大地推動(dòng)了紋理創(chuàng)作的民主化。通過(guò)對(duì)Dreambooth、ControlNet和分?jǐn)?shù)蒸餾等關(guān)鍵技術(shù)的綜合應(yīng)用，TextureDreamer展現(xiàn)了在圖像引導(dǎo)紋理合成領(lǐng)域的卓越性能。