谷歌新AI研究：基于圖像分析模型和NeRF 可根據(jù)文本合成3D模型

　　利用DALL·E從文字合成圖片相信大家已經(jīng)比較熟悉，近年來類似的研究不少，比如Meta前不久公布的Make-A-Video研究，即利用AI才能夠文本合成視頻。近期，谷歌也公布了一項新的AI模型Dreamfusion，該模型的特點(diǎn)是將AI圖像分析模型Imagen與NeRF(神經(jīng)輻射場)結(jié)合，可根據(jù)文本來合成3D模型。

　　據(jù)青亭網(wǎng)了解，谷歌在2021年底曾推出3D合成AI系統(tǒng)Dream Fields，Dreamfusion則是在此基礎(chǔ)上的演變，區(qū)別是Dreamfusion利用Imagen來取代OpenAI的CLIP圖像分析模型，Imagen是谷歌預(yù)訓(xùn)練的2D文本圖像擴(kuò)散模型。而神經(jīng)輻射場的部分則提供了合成3D視圖的能力，并允許在神經(jīng)網(wǎng)絡(luò)中存儲3D模型，接著通過Marching Cubs三維重建算法，可導(dǎo)出為具有網(wǎng)格的3D模型，并在常見的3D渲染引擎、建模軟件中使用。

　　簡單來講，Imagen的優(yōu)勢在于使用2D文本圖像即可訓(xùn)練，更容易規(guī)�；�。Dreamfusion會使用Imagen生成的多視角2D圖像來學(xué)習(xí)3D渲染，實現(xiàn)用文本來合成3D模型。此外相比于Dream Fields，Dreamfusion可合成更高質(zhì)量、具有深度和法線的、可重新照明的3D模型，因此整體效果更逼真。而且，Dreamfision生成的多個3D模型可縫合到同一個場景中。

　　參考：Mixed