IllumiNeRF：無逆渲染的 3D 重新照明 隨意切換任何光效

　　近日，來自谷歌研究團(tuán)隊(duì)以及伊利諾伊大學(xué)厄巴納 - 香檳分校的學(xué)者們發(fā)表了題為《無逆渲染的3D 重新照明》的研究成果。該研究針對(duì)使用未知光照條件下的一組物體圖像，以恢復(fù)能夠在目標(biāo)光照下從新視點(diǎn)呈現(xiàn)的3D 表征的可重新光照視圖合成方法進(jìn)行了探討。

　　傳統(tǒng)方法基于反渲染，試圖將解釋輸入圖像的物體幾何、材料和光照進(jìn)行分離。然而，這通常涉及通過可微分蒙特卡洛渲染進(jìn)行優(yōu)化，具有脆弱性且計(jì)算成本高昂。

　　因此，研究團(tuán)隊(duì)提出了一種更簡單的方法IllumiNeRF:首先利用受光條件的圖像擴(kuò)散模型重光每個(gè)輸入圖像，然后利用這些重光圖像重建神經(jīng)輻射場(NeRF)，從而在目標(biāo)光照下呈現(xiàn)新的視角。他們證明了這種策略出人意料地具有競爭力，并在多個(gè)重光基準(zhǔn)測試中取得了最新成果。

　　它具體工作原理如下:

　　給定 (a) 中的一組圖像和相機(jī)姿勢，研究人員運(yùn)行 NeRF 來提取3D 幾何體，如 (b) 所示;

　　基于此幾何形狀和(c)中所示的目標(biāo)光，為每個(gè)給定的輸入視圖創(chuàng)建輻射提示，如(d)所示;

　　接下來，使用 (e) 中所示的重新照明擴(kuò)散模型和 (f) 中顯示的每個(gè)給定圖像的樣本 S 可能的解決方案獨(dú)立地重新點(diǎn)亮每個(gè)輸入圖像;

　　最后，通過潛在NeRF優(yōu)化將重新編輯的圖像集提煉成3D表示，如(g)和(h)所示。

　　3D 一致重新照明

　　第一行顯示了最終潛在 NeRF 的渲染圖;

　　第二行顯示了與頂部每個(gè)渲染幀相對(duì)應(yīng)的最近訓(xùn)練視圖的擴(kuò)散樣本。

　　這種產(chǎn)品可應(yīng)用于計(jì)算機(jī)圖形學(xué)、增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)領(lǐng)域。例如，在電影制作中，可以利用該產(chǎn)品在不同光照條件下呈現(xiàn)3D 場景，從而節(jié)省拍攝成本和時(shí)間。在虛擬現(xiàn)實(shí)應(yīng)用中，用戶可以在不同光照環(huán)境下體驗(yàn)虛擬場景，增強(qiáng)了真實(shí)感和沉浸感。此外，該產(chǎn)品還可用于數(shù)字藝術(shù)創(chuàng)作和建筑設(shè)計(jì)等領(lǐng)域，為用戶提供更靈活的光照表現(xiàn)和渲染效果。