多視角高斯模型LGM:5秒產(chǎn)出高質(zhì)量3D物體 支持圖文到3D

　　近期，由北京大學(xué)、南洋理工大學(xué) S-Lab 和上海人工智能實驗室聯(lián)合研究的團隊推出的大型多視角高斯模型(LGM)引起廣泛關(guān)注。

　　LGM 以其核心模塊 Large Multi-View Gaussian Model 為基礎(chǔ)，采用了一種新穎的方法，能夠在僅5秒的時間內(nèi)從單一視角圖片或文本輸入中生成高分辨率高質(zhì)量的3D物體。該模型的技術(shù)亮點在于使用了高效輕量的非對稱 U-Net 作為骨干網(wǎng)絡(luò)，直接從四個視角的圖片中預(yù)測高分辨率的高斯基元，并通過可微渲染技術(shù)呈現(xiàn)出任意視角下的3D效果。

　　在技術(shù)層面，LGM 解決了有限計算量下高效3D表征和高分辨率下的三維骨干生成網(wǎng)絡(luò)的兩大挑戰(zhàn)。具體而言，它通過在低分辨率的特征圖上使用跨視角的自注意力機制，實現(xiàn)了不同視角之間的相關(guān)性建模，同時保持了較低的計算開銷。此外，為了訓(xùn)練階段和推理階段之間的數(shù)據(jù)一致性，研究者還提出了基于網(wǎng)格畸變的數(shù)據(jù)增強策略，有效模擬了多視角不一致性。

　　值得注意的是，在實現(xiàn)高分辨率下高效訓(xùn)練這類模型時，研究者克服了兩個主要問題。

　　首先，通過基于 objaverse 數(shù)據(jù)集中渲染出的三維一致的多視角圖片進行訓(xùn)練，然后在推理階段使用已有模型從文本或圖像中合成多視角圖片。為了解決多視角不一致的問題，文章提出了基于網(wǎng)格畸變的數(shù)據(jù)增強策略。

　　其次，為了模擬推理階段生成的多視角圖片在相機視角三維幾何上的一致性，研究者對三個視角的相機位姿進行了隨機擾動，增強了模型的穩(wěn)健性。

　　訓(xùn)練完成后，LGM 不僅通過現(xiàn)有的圖像到多視角或者文本到多視角擴散模型實現(xiàn)了高質(zhì)量的 Text-to-3D 和 Image-to-3D 任務(wù)，而且能夠在給定相同輸入文本或圖像的情況下生成多樣的高質(zhì)量三維模型。為了進一步支持下游圖形學(xué)任務(wù)，研究者還提出了一種高效的方法，將生成的高斯表征轉(zhuǎn)換為平滑且?guī)Ъy理的 Mesh。

　　LGM 模型在3D內(nèi)容生成領(lǐng)域的性能和創(chuàng)新引起了廣泛關(guān)注。其開源精神以及提供的在線 Demo 進一步促進了對該模型的實際應(yīng)用和探索。

　　LGM產(chǎn)品特色:

　　1. 高分辨率生成：

　　- LGM專注于從文本提示或單視圖圖像生成高分辨率的3D模型。

　　- 通過引入多視圖高斯特征作為有效而強大的表示，能夠在訓(xùn)練期間提供不同可導(dǎo)渲染的高分辨率3D對象。

　　2. 3D表示方法:

　　- 使用多視圖高斯特征作為主要的3D表示方法。

　　- 這種表示方法可以通過融合不同視圖的特征進行可導(dǎo)渲染。

　　3. 3D骨架結(jié)構(gòu):

　　- 引入不對稱的U-Net作為高吞吐量的骨干結(jié)構(gòu)。

　　- 該骨干結(jié)構(gòu)在多視圖圖像上操作，這些圖像可以通過利用多視圖擴散模型從文本或單視圖圖像輸入中產(chǎn)生。

　　4. 快速生成速度:

　　- 能夠在5秒內(nèi)生成3D對象，保持了快速生成速度。

　　- 同時，在將訓(xùn)練分辨率提高到512的情況下，實現(xiàn)了高分辨率3D內(nèi)容生成。

　　5. 多樣性生成:

　　- 支持從圖像和文本兩種輸入方式生成3D對象，實現(xiàn)了圖文并茂的3D內(nèi)容創(chuàng)作。

　　- 提供了多視圖的擴散模型，有助于增加生成的多樣性。

　　總體而言，LGM通過創(chuàng)新的3D表示和骨干結(jié)構(gòu)，以及高效的訓(xùn)練方法，實現(xiàn)了在高分辨率3D內(nèi)容生成方面的顯著進展。