Meta研究根據(jù)HDR圖像重建真實(shí)世界反射屬性和陰影的方法

　　忠實(shí)地恢復(fù)世界的副本對(duì)于虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)和混合現(xiàn)實(shí)而言至關(guān)重要。虛擬現(xiàn)實(shí)設(shè)備將用戶沉浸在虛擬世界中，它們依賴于場(chǎng)景在曲面幾何、材質(zhì)屬性和照明方面的表示。由于手動(dòng)制作這樣的虛擬世界模型非常冗長，所以對(duì)能夠自動(dòng)重建真實(shí)世界環(huán)境的方法的需求越來越大。

　　然而，它們的實(shí)用價(jià)值在很大程度上取決于虛擬世界的真實(shí)感。MR和AR則依靠真實(shí)場(chǎng)景表示來渲染虛擬對(duì)象，它們相對(duì)于其周圍環(huán)境需要具有正確的物理交互和視覺外觀。盡管曲面幾何的重建已經(jīng)相當(dāng)成熟，但場(chǎng)景反射和照明的估計(jì)依然是一個(gè)困難的挑戰(zhàn)，特別是如果我們想直接從輸入視頻中估計(jì)所述特性。這項(xiàng)研究能夠?qū)⑻摂M世界和現(xiàn)實(shí)世界更緊密地結(jié)合在一起，從而允許用戶沉浸在真實(shí)的數(shù)字環(huán)境之中。

　　在名為《Recovering Real-World Reflectance Properties and Shading From HDR Imagery》的論文中，F(xiàn)acebook和慕尼黑工業(yè)大學(xué)介紹了一種根據(jù)HDR圖像重建真實(shí)世界反射屬性和陰影的方法。

　　在恢復(fù)復(fù)雜反射和陰影的方法中，給定場(chǎng)景幾何體的基于網(wǎng)格的3D重建、覆蓋所述幾何體及其相應(yīng)姿態(tài)的HDR RGB幀序列，團(tuán)隊(duì)首先重建并估計(jì)照亮的漫反射HDR紋理。然后，僅利用紋理幾何建立反照率和陰影估計(jì)的基礎(chǔ)，并且給定對(duì)象分割，估計(jì)每個(gè)對(duì)象的鏡面材質(zhì)參數(shù)。請(qǐng)注意，與其他方法相比，團(tuán)隊(duì)的輸入假設(shè)僅在HDR數(shù)據(jù)方面有所不同，這允許系統(tǒng)覆蓋場(chǎng)景從最暗到最亮的動(dòng)態(tài)范圍。

　　Microfacet BRDF模型：團(tuán)隊(duì)只關(guān)注各向同性、介電(非金屬)和不透明(非半透明/透明)的對(duì)象。BRDF的一個(gè)理想特性是將其加性分離為漫反射和非漫反射component，因?yàn)樗�允許將BRDF參數(shù)估計(jì)問題分為兩個(gè)單獨(dú)的、更容易解決的問題。

　　照明漫反射HDR紋理估計(jì)：團(tuán)隊(duì)通過將視頻幀投影到曲面幾何來估計(jì)照明漫反射HDR紋理。

　　反照率和陰影估計(jì)：團(tuán)隊(duì)現(xiàn)在能夠有效利用HDR紋理的強(qiáng)度與真實(shí)亮度成比例的信息。

　　鏡面反射外觀估計(jì)：給定每個(gè)表面點(diǎn)處照亮漫反射場(chǎng)景Ld(x)的估計(jì)，團(tuán)隊(duì)可以估計(jì)每個(gè)對(duì)象的非漫反射BRDF參數(shù)ψ和ψ

　　在實(shí)驗(yàn)中，給定每個(gè)表面點(diǎn)的反照率和陰影，以及每個(gè)對(duì)象的鏡面反射外觀，團(tuán)隊(duì)現(xiàn)在可以定量和定性地評(píng)估所提出方法的有效性。研究人員使用Replica數(shù)據(jù)集進(jìn)行評(píng)估，因?yàn)樗�提供了適當(dāng)?shù)妮斎霐?shù)據(jù)：完整場(chǎng)景的重建網(wǎng)格、HDR視頻、每幀camera姿態(tài)和語義對(duì)象實(shí)例信息。對(duì)于反照率和陰影估計(jì)的定量驗(yàn)證，團(tuán)隊(duì)使用自己捕獲的數(shù)據(jù)集來控制場(chǎng)景中的照明和對(duì)象。房間總共有四個(gè)globe light和三個(gè)LED面板作為光源，它們的波長和發(fā)射不同。兩次掃描在各自的照明方面有所不同：對(duì)于第一次掃描，所有四個(gè)globe light和一個(gè)LED面板都打開(掃描/重建A)。對(duì)于第二次掃描，僅打開了兩個(gè)LED面板(掃描/重建B)。請(qǐng)注意，研究人員為每個(gè)數(shù)據(jù)集預(yù)先計(jì)算照明漫反射HDR紋理集。

　　對(duì)于反照率和陰影驗(yàn)證，團(tuán)隊(duì)使用重建A和B以及Replica數(shù)據(jù)集的場(chǎng)景來評(píng)估前面描述的反照率和陰影。通過NVidia的OptiX引擎，研究人員從每個(gè)對(duì)應(yīng)的表面元素每圖素投射10000條光線，以獲得陰影和反照率的去噪估計(jì)值。這一過程需要時(shí)間∼10分鐘。

　　對(duì)于鏡面反射外觀估計(jì)驗(yàn)證，為了進(jìn)行定量和定性比較，團(tuán)隊(duì)在Replica數(shù)據(jù)集部署了前面所述的方法;使用OptiX為每個(gè)像素對(duì)應(yīng)的表面元素投射200條光線。

　　最后，有了完整的BRDF(反照率、鏡面反射和粗糙度)，團(tuán)隊(duì)可以在新的合成照明和其他虛擬對(duì)象情景下對(duì)整個(gè)場(chǎng)景進(jìn)行完整的視覺精確渲染。所以，研究人員部署了一個(gè)具有四次反彈的路徑跟蹤引擎。添加到辦公室場(chǎng)景重建中的兔子和雕像看起來忠實(shí)而逼真，因?yàn)樗鼈兛紤]了整個(gè)場(chǎng)景的外觀，從而產(chǎn)生了一致的陰影和材質(zhì)效果。

　　當(dāng)然，團(tuán)隊(duì)指出了所述研究的限制。因?yàn)榧僭O(shè)給定幾何體，所以劣化可能會(huì)對(duì)結(jié)果產(chǎn)生負(fù)面影響，這是已知幾何體反向渲染的標(biāo)準(zhǔn)限制。在測(cè)試中，團(tuán)隊(duì)沒有遇到導(dǎo)致系統(tǒng)失敗的互反射，因?yàn)檫x擇目標(biāo)幀是為了最大化基于直接照明的鏡面反射。但由于單反彈假設(shè)，團(tuán)隊(duì)預(yù)計(jì)強(qiáng)互反射的存在會(huì)限制框架的性能。在未來，研究人員的目標(biāo)是克服照明漫反射HDR紋理的特定限制，因?yàn)樗�可能�?huì)受到與視圖相關(guān)的烘焙效果的影響。

　　總的來說，研究人員介紹了一種從HDR圖像估計(jì)完整3D場(chǎng)景的BRDF和陰影特性的方法。團(tuán)隊(duì)能夠僅使用重建的幾何體和HDR紋理來恢復(fù)每個(gè)表面元素的反照率和陰影。團(tuán)隊(duì)同時(shí)提供了一種自動(dòng)計(jì)算每個(gè)對(duì)象的目標(biāo)幀的方案;然后使用所述參數(shù)來估計(jì)每個(gè)對(duì)象的非漫反射材質(zhì)參數(shù)。在一系列具有挑戰(zhàn)性的真實(shí)世界HDR數(shù)據(jù)集上所進(jìn)行的大量實(shí)驗(yàn)表明，所述方法能夠創(chuàng)建幾乎與真實(shí)世界無法區(qū)分的重建效果：

　　一種利用HDR紋理估算每個(gè)表面元素的反照率和明暗度的有效方法。

　　在估計(jì)過程中為場(chǎng)景中的每個(gè)對(duì)象計(jì)算理想目標(biāo)幀的過程

　　一種使用嵌套最小二乘優(yōu)化網(wǎng)格搜索估計(jì)非擴(kuò)散BRDF的方法。