從文本生成3D圖像 英偉達(dá)提出比谷歌更優(yōu)解決方案Magic3D

　　谷歌早前曾介紹了一個(gè)可以通過(guò)文本生成3D圖像的AI模型Dreamfusion。其中，只需輸入簡(jiǎn)單的文本提示，這個(gè)利用2D數(shù)據(jù)訓(xùn)練出來(lái)的模型可以為你生成相應(yīng)的3D圖像。

　　但英偉達(dá)的研究人員認(rèn)為，盡管谷歌DreamFusion展示了預(yù)訓(xùn)練的文本到圖像擴(kuò)散模型在優(yōu)化神經(jīng)輻射場(chǎng)(NeRF)方面的實(shí)用性，并取得了顯著的文本到3D合成結(jié)果，但所述方法存在兩個(gè)固有的局限性：

　　NeRF的優(yōu)化極其緩慢;

　　NeRF的低分辨率圖像空間監(jiān)控導(dǎo)致處理時(shí)間長(zhǎng)，并且只能生成低質(zhì)量的3D模型。

　　所以，英偉達(dá)提出了一個(gè)全新的解決方案Magic3D，利用兩階段優(yōu)化框架來(lái)解決相關(guān)限制。最終，團(tuán)隊(duì)希望這可以幫助實(shí)現(xiàn)3D合成的普及。

　　與Dreamfusion一樣，Magic3D的核心依賴于一種根據(jù)文本從不同角度創(chuàng)建圖像的圖像生成模型。英偉達(dá)的研究團(tuán)隊(duì)使用的是圖像模型eDiffi，而谷歌則依賴Imagen。

　　對(duì)于團(tuán)隊(duì)提出的兩階段優(yōu)化框架，他們首先使用低分辨率擴(kuò)散先驗(yàn)獲得粗略模型，并使用稀疏的3D hash grid structure進(jìn)行加速。使用粗糙表示作為初始化，研究人員進(jìn)一步通過(guò)與高分辨率latent擴(kuò)散模型交互的高效可微渲染器來(lái)優(yōu)化紋理化的3D網(wǎng)格模型。

　　這種方法的優(yōu)勢(shì)在于，生成型AI模型不必使用稀缺的3D模型進(jìn)行訓(xùn)練。與Nvidia免費(fèi)提供的文本到3D模型Get3D不同，Magic3D同時(shí)可以從不同類別生成眾多3D模型，無(wú)需額外訓(xùn)練。

　　英偉達(dá)表示，實(shí)驗(yàn)結(jié)果表明，Magic3D可以在40分鐘內(nèi)創(chuàng)建高質(zhì)量的3D網(wǎng)格模型，這比DreamFusion快2倍，同時(shí)分辨率更高。這家公司進(jìn)一步指出：“用戶研究則顯示，61.7%的評(píng)分者更喜歡我們的方法而不是DreamFusion。”

　　另外，Magic3D可以執(zhí)行基于提示的3D網(wǎng)格編輯。給定低分辨率3D模型和基本提示，研究人員可以更改文本以更改生成的模型。同時(shí)，團(tuán)隊(duì)演示了在數(shù)個(gè)迭代中保持相同的主題(通常稱為連貫性)，并將2D圖像的風(fēng)格(如立體派繪畫(huà))應(yīng)用于3D模型。

　　英偉達(dá)的研究人員評(píng)價(jià)道：“結(jié)合圖像條件生成功能，我們?yōu)橛脩籼峁┝丝刂?D合成的新方法，并為各種創(chuàng)意應(yīng)用開(kāi)辟了新途徑。”

　　從文本生成3D的能力感覺(jué)像是當(dāng)今擴(kuò)散模型的一種自然進(jìn)化。在對(duì)大量數(shù)據(jù)進(jìn)行密集訓(xùn)練后，相關(guān)模型可以使用神經(jīng)網(wǎng)絡(luò)合成新內(nèi)容。僅在2022年，我們就已經(jīng)看到了DALL-E和Stable Diffusion等功能強(qiáng)大的文本到圖像模型，以及谷歌的文本到3D模型DreamFusion等等。

　　對(duì)于Magic3D，它將允許任何人在不需要特殊訓(xùn)練的情況下創(chuàng)建3D模型。盡管團(tuán)隊(duì)目前依然在優(yōu)化改善模型，但隨著技術(shù)的發(fā)展和成熟，相信這將能加快普及3D合成，并促進(jìn)游戲和VR行業(yè)的發(fā)展。