近日,來自谷歌研究團(tuán)隊以及伊利諾伊大學(xué)厄巴納 - 香檳分校的學(xué)者們發(fā)表了題為《無逆渲染的3D 重新照明》的研究成果。該研究針對使用未知光照條件下的一組物體圖像,以恢復(fù)能夠在目標(biāo)光照下從新視點呈現(xiàn)的3D 表征的可重新光照視圖合成方法進(jìn)行了探討。
傳統(tǒng)方法基于反渲染,試圖將解釋輸入圖像的物體幾何、材料和光照進(jìn)行分離。然而,這通常涉及通過可微分蒙特卡洛渲染進(jìn)行優(yōu)化,具有脆弱性且計算成本高昂。
因此,研究團(tuán)隊提出了一種更簡單的方法IllumiNeRF:首先利用受光條件的圖像擴(kuò)散模型重光每個輸入圖像,然后利用這些重光圖像重建神經(jīng)輻射場(NeRF),從而在目標(biāo)光照下呈現(xiàn)新的視角。他們證明了這種策略出人意料地具有競爭力,并在多個重光基準(zhǔn)測試中取得了最新成果。
它具體工作原理如下:
給定 (a) 中的一組圖像和相機(jī)姿勢,研究人員運(yùn)行 NeRF 來提取3D 幾何體,如 (b) 所示;
基于此幾何形狀和(c)中所示的目標(biāo)光,為每個給定的輸入視圖創(chuàng)建輻射提示,如(d)所示;
接下來,使用 (e) 中所示的重新照明擴(kuò)散模型和 (f) 中顯示的每個給定圖像的樣本 S 可能的解決方案獨立地重新點亮每個輸入圖像;
最后,通過潛在NeRF優(yōu)化將重新編輯的圖像集提煉成3D表示,如(g)和(h)所示。
3D 一致重新照明
第一行顯示了最終潛在 NeRF 的渲染圖;
第二行顯示了與頂部每個渲染幀相對應(yīng)的最近訓(xùn)練視圖的擴(kuò)散樣本。
這種產(chǎn)品可應(yīng)用于計算機(jī)圖形學(xué)、增強(qiáng)現(xiàn)實和虛擬現(xiàn)實領(lǐng)域。例如,在電影制作中,可以利用該產(chǎn)品在不同光照條件下呈現(xiàn)3D 場景,從而節(jié)省拍攝成本和時間。在虛擬現(xiàn)實應(yīng)用中,用戶可以在不同光照環(huán)境下體驗虛擬場景,增強(qiáng)了真實感和沉浸感。此外,該產(chǎn)品還可用于數(shù)字藝術(shù)創(chuàng)作和建筑設(shè)計等領(lǐng)域,為用戶提供更靈活的光照表現(xiàn)和渲染效果。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹(jǐn)慎對待。投資者據(jù)此操作,風(fēng)險自擔(dān)。
近日,德國柏林國際電子消費品展覽會(IFA2024)隆重舉辦。憑借在核心技術(shù)、產(chǎn)品設(shè)計及應(yīng)用方面的創(chuàng)新變革,全球領(lǐng)先的智能終端企業(yè)TCL實業(yè)成功斬獲兩項“IFA全球產(chǎn)品設(shè)計創(chuàng)新大獎”金獎,有力證明了其在全球市場的強(qiáng)大影響力。
近日,中國家電及消費電子博覽會(AWE 2024)隆重開幕。全球領(lǐng)先的智能終端企業(yè)TCL實業(yè)攜多款創(chuàng)新技術(shù)和新品亮相,以敢為精神勇闖技術(shù)無人區(qū),斬獲四項AWE 2024艾普蘭大獎。
“以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
由世界人工智能大會組委會、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會共同指導(dǎo),由上海市人工智能行業(yè)協(xié)會聯(lián)合上海人工智能實驗室、上海臨港經(jīng)濟(jì)發(fā)展(集團(tuán))有限公司、開放原子開源基金會主辦的“2024全球開發(fā)者先鋒大會”,將于2024年3月23日至24日舉辦。