香港城大+Meta提出高保真實(shí)時(shí)視圖合成的NeRF渲染

　　通過(guò)僅使用少數(shù)posed圖像就能從未觀(guān)察到的視點(diǎn)渲染的表示方法來(lái)重建三維場(chǎng)景，這一直是計(jì)算機(jī)圖形和計(jì)算機(jī)視覺(jué)界的一個(gè)長(zhǎng)期目標(biāo)。

　　神經(jīng)輻射場(chǎng)NeRF近來(lái)已經(jīng)取得了重大進(jìn)展，它能夠生成逼真的新視角，并對(duì)view-dependent效果進(jìn)行建模，如鏡面反射。特別是，輻射場(chǎng)是一個(gè)由MLPs參數(shù)化的體三維函數(shù)，它可以估計(jì)在給定方向采樣的三維位置的密度和發(fā)射的輻射度。然后，微分體三五i渲染允許通過(guò)最小化真實(shí)觀(guān)察到的顏色和渲染的顏色之間的光度差異來(lái)優(yōu)化這個(gè)函數(shù)。

　　盡管NeRF及其各種擴(kuò)展的成功和巨大潛力前景，但一個(gè)不可回避的問(wèn)題是渲染新視圖的高計(jì)算成本。例如，即便是采用強(qiáng)大的現(xiàn)代GPU，NeRF渲染一張800×800像素的圖像都需要30秒左右，這使得它無(wú)法用于AR/VR等交互式應(yīng)用。

　　渲染NeRF表示的巨大計(jì)算成本主要來(lái)自?xún)蓚�(gè)方面：一是，對(duì)于每個(gè)單獨(dú)的像素，NeRF需要沿著相應(yīng)的射線(xiàn)采樣數(shù)百個(gè)位置，查詢(xún)密度，然后使用體三維渲染累積輻射度;二是，為了表示復(fù)雜場(chǎng)景的幾何細(xì)節(jié)，需要大的模型尺寸，所以NeRF架構(gòu)中使用的MLPs相對(duì)較深和寬，這為每個(gè)點(diǎn)樣本的評(píng)估帶來(lái)了大量計(jì)算。

　　在名為《Learning Neural Duplex Radiance Fields for Real-Time View Synthesis》的論文中，香港城市大學(xué)和Meta提出了一種可以實(shí)現(xiàn)高保真實(shí)時(shí)視圖合成的方法。

　　為了避免沿每條射線(xiàn)的密集采樣，一個(gè)解決方案是通過(guò)預(yù)訓(xùn)練的NeRF模型生成一個(gè)幾何代理。通過(guò)利用高度優(yōu)化的圖形管道，團(tuán)隊(duì)幾乎可以立即獲得每條射線(xiàn)的采樣位置。但由于表面周?chē)�的密度�?chǎng)不準(zhǔn)確，提取的網(wǎng)格可能不能忠實(shí)地代表真實(shí)的底層幾何，并可能包含偽影，如圖2所示。

　　密集的局部采樣可以在一定程度上緩解錯(cuò)誤，但不能處理缺失的幾何體或遮擋物。另一種方法是使用柵格化進(jìn)行快速的神經(jīng)渲染，直接將神經(jīng)特征烘烤到表面。這通常伴隨著一個(gè)深度CNN來(lái)將柵格化的特征轉(zhuǎn)化為顏色，并學(xué)習(xí)解決現(xiàn)有的錯(cuò)誤。這對(duì)評(píng)估而言成本昂貴，而且會(huì)阻礙實(shí)時(shí)渲染。

　　為了大幅減少采樣數(shù)量，同時(shí)有效地處理幾何錯(cuò)誤，研究人員的第一個(gè)關(guān)鍵技術(shù)創(chuàng)新是根據(jù)沿射線(xiàn)的雙聯(lián)點(diǎn)的輻射度來(lái)推斷最終的RGB顏色。如圖3所示，NeRF表示沿每條射線(xiàn)的連續(xù)密度分布。盡管一般情況下很難確定沿射線(xiàn)的表面的確切位置，但通過(guò)使用對(duì)幾何形狀的underestimation和overestimation，將更容易提取對(duì)最終預(yù)測(cè)貢獻(xiàn)最大的可靠區(qū)間。

　　在這個(gè)想法的引導(dǎo)下，香港城市大學(xué)和Meta沒(méi)有選擇一個(gè)特定的位置進(jìn)行外觀(guān)計(jì)算，同時(shí)沒(méi)有在這個(gè)區(qū)間內(nèi)進(jìn)行昂貴的密集體三維渲染，而是在一條射線(xiàn)與二維幾何體的兩個(gè)交匯點(diǎn)上使用可學(xué)習(xí)的特征來(lái)表示場(chǎng)景，并使用神經(jīng)網(wǎng)絡(luò)從這個(gè)聚合的二維輻射度信息中學(xué)習(xí)顏色。

　　盡管只考慮了兩個(gè)采樣點(diǎn)，但團(tuán)隊(duì)發(fā)現(xiàn)，即便沒(méi)有深度神經(jīng)網(wǎng)絡(luò)，這種神經(jīng)雙工輻射度場(chǎng)在補(bǔ)償幾何體代理的誤差方面同樣穩(wěn)健，并且有效地保留了基于柵格化方法的效率。

　　NeRF MLP已經(jīng)成為大多數(shù)神經(jīng)隱含表征的最標(biāo)準(zhǔn)架構(gòu)。但由于只考慮了沿射線(xiàn)的幾個(gè)點(diǎn)，MLP很難約束所提出的神經(jīng)雙工輻射場(chǎng)。相反，團(tuán)隊(duì)使用了一個(gè)淺層卷積網(wǎng)絡(luò)，它可以有效地捕獲鄰近像素的局部幾何信息，并帶來(lái)了相當(dāng)好的渲染質(zhì)量。

　　團(tuán)隊(duì)發(fā)現(xiàn)，直接從零開(kāi)始訓(xùn)練神經(jīng)雙工輻射場(chǎng)會(huì)導(dǎo)致明顯的偽影。所以，他們提出了一個(gè)多視圖蒸餾優(yōu)化策略，從而能夠有效地接近原始NeRF模型的渲染質(zhì)量。值得注意的是，與原始NeRF相比，所述方法將運(yùn)行時(shí)間性能提高了1萬(wàn)倍，同時(shí)保持高質(zhì)量的渲染效果。

　　方法

　　團(tuán)隊(duì)的主要目標(biāo)是學(xué)習(xí)一種可以令高質(zhì)量的、實(shí)時(shí)的、基于給定的NeRF模型的新視點(diǎn)合成成為可能的高效三維場(chǎng)景表征。為此，他們提出了神經(jīng)雙工輻射場(chǎng)(Neural Duplex Radiance Fields/NDRF)。這個(gè)新穎的概念可以將沿射線(xiàn)的采樣點(diǎn)數(shù)量從數(shù)百個(gè)大幅減少到兩個(gè)，同時(shí)很好地保留了復(fù)雜場(chǎng)景的現(xiàn)實(shí)細(xì)節(jié)。

　　盡管通過(guò)使用兩層網(wǎng)格可以約束查詢(xún)頻率，但NeRF中基于每個(gè)樣本的深度MLP的前向傳遞依然是一個(gè)負(fù)擔(dān)，而且缺乏表現(xiàn)力，尤其是對(duì)于高分辨率的渲染場(chǎng)景。因此，研究人員提出了一種更有效的混合輻射度表示和著色機(jī)制。

　　為了進(jìn)一步抑制潛在的偽影并提高渲染質(zhì)量，他們利用多視圖蒸餾信息來(lái)指導(dǎo)優(yōu)化過(guò)程。最后，他們展示了完整的渲染過(guò)程和基于著色器的實(shí)現(xiàn)，從而實(shí)現(xiàn)實(shí)時(shí)的跨平臺(tái)渲染。

　　我們先快速回顧一下NeRF的基本原理。簡(jiǎn)而言之，NeRF用一個(gè)可學(xué)習(xí)的MLP來(lái)近似計(jì)算5D全光函數(shù)，它將空間位置x∈R3和視圖方向d∈S2映射為輻射度c∈R3和密度σ∈R。在從camera中心投出一條射線(xiàn)，通過(guò)一個(gè)像素進(jìn)入場(chǎng)景后，其顏色是通過(guò)評(píng)估網(wǎng)絡(luò)FΘ沿射線(xiàn)的多個(gè)位置進(jìn)行計(jì)算，并使用體三維渲染來(lái)聚合輻射度。

　　影響NeRF渲染效率的一個(gè)關(guān)鍵因素是每條射線(xiàn)的3D采樣位置的數(shù)量。由于NeRF的體三維表示法可以通過(guò)行進(jìn)立方體轉(zhuǎn)換為三角形網(wǎng)格，一個(gè)自然的想法是直接烘烤幾何表面的外觀(guān)，即只考慮射線(xiàn)-表面交叉點(diǎn)的輻射度。

　　然而，由于行進(jìn)立方體的離散誤差和NeRF固有的floater artifact，生成的網(wǎng)格質(zhì)量往往不夠理想。基于光柵化的神經(jīng)渲染方法使用深度CNN糾正屏幕空間的錯(cuò)誤，但這不可避免地犧牲了渲染效率。由于幾何代理已經(jīng)傳達(dá)了近似的三維結(jié)構(gòu)，另一種方法是在表面周?chē)�進(jìn)行局部采樣。盡管這有助于應(yīng)對(duì)低質(zhì)量的網(wǎng)格，但它在處理缺失的幾何體或可見(jiàn)的遮擋物時(shí)十分吃力，如圖5所示。

　　Representation

　　值得注意的是，NeRF的密度分布決定了發(fā)射的輻射度對(duì)射線(xiàn)最終顏色的貢獻(xiàn)，它可能包含多個(gè)峰值。這使得用單一的射線(xiàn)-表面交點(diǎn)來(lái)近似計(jì)算一個(gè)像素的顏色成為一個(gè)具有挑戰(zhàn)性的主張。

　　為了顯著減少每個(gè)像素的采樣點(diǎn)，同時(shí)保證渲染保真度，團(tuán)隊(duì)提出了神經(jīng)雙工輻射場(chǎng)FΘ∶R8 × R3來(lái)表示光線(xiàn)，其中FΘ學(xué)習(xí)將由其兩個(gè)端點(diǎn)x1和x2定義的光線(xiàn)段映射到集成的view-dependent顏色。

　　具體地說(shuō)，目標(biāo)是直接從密度分布的可靠區(qū)間定義的射線(xiàn)段中學(xué)習(xí)任何像素的顏色。研究人員將射線(xiàn)投射到兩個(gè)代理網(wǎng)格表面，即inner的Mi(Vi, Ti)和outer的Mo(Vo, To)，頂點(diǎn)位置為V●和三角形面為T(mén)●，從而獲取射線(xiàn)段的端點(diǎn)。

　　所述網(wǎng)格是從NeRF的密度場(chǎng)的不同水平集中提取。更具體地說(shuō)，射線(xiàn)顏色c可以通過(guò)以下公式計(jì)算：

　　其中x1和x2是給定射線(xiàn)與Mi和Mo網(wǎng)格的深度排序相交，d表示視圖方向。

　　考慮到不是所有的光線(xiàn)都會(huì)擊中兩個(gè)表面代理，團(tuán)隊(duì)依然附加了視圖方向。然后，顯式三角形網(wǎng)格將允許他們有效地獲取光線(xiàn)表面相交，并受益于圖形光柵化管道的完全并行性。在大多數(shù)隱式神經(jīng)表示中，由于多層感知器的平滑性和緊湊性，不同的屬性(如SDF、輻射或像素顏色)由多層感知器編碼。然而，考慮到推理的高計(jì)算成本，密集地評(píng)估深度MLP并不是實(shí)時(shí)應(yīng)用的明智選擇。

　　由于輻射場(chǎng)是通過(guò)兩個(gè)幾何曲面定義，編碼是通過(guò)直接將可學(xué)習(xí)的特征fk∈ RN附加到每個(gè)網(wǎng)格頂點(diǎn)vk來(lái)定義。為了獲得三角形上任意點(diǎn)x的特征f(x)，團(tuán)隊(duì)通過(guò)硬件柵格化并使用質(zhì)心坐標(biāo)在三角形內(nèi)插值特征。因此，渲染方程可以重寫(xiě)為

　　其中Θ參數(shù)化一個(gè)淺層網(wǎng)絡(luò)來(lái)學(xué)習(xí)給定每條射線(xiàn)的輻射特征的聚合。

　　卷積著色

　　許多基于NeRF的方法使用視圖方向條件MLP來(lái)學(xué)習(xí)view-dependent外觀(guān)效果。沿著光線(xiàn)的密集采樣提供了一種可行的方法，通過(guò)共享3D位置來(lái)約束輻射場(chǎng)的學(xué)習(xí)，并最終實(shí)現(xiàn)跨不同視圖的高質(zhì)量和連貫渲染。然而，這種隱式約束并不適用于團(tuán)隊(duì)的情況。

　　為了高度優(yōu)化運(yùn)行時(shí)效率，神經(jīng)雙工輻射對(duì)每條投射光線(xiàn)只考慮兩個(gè)點(diǎn)，這大大降低了訓(xùn)練中捕獲內(nèi)部相關(guān)性的能力，并經(jīng)常導(dǎo)致空間偽影和渲染質(zhì)量下降。

　　研究人員通過(guò)卷積著色網(wǎng)絡(luò)解決了這個(gè)問(wèn)題。其中，它使用一個(gè)小感受野來(lái)將雙工特征和視圖方向轉(zhuǎn)換為圖像空間中的逐像素顏色。所述方法有效地提高了三維場(chǎng)景樣本間的相關(guān)性。

　　為了確保高推理速度，只使用2 ~ 3個(gè)卷積層，并將卷積核限制在一個(gè)2×2窗口內(nèi)，以獲得最佳的視覺(jué)保真度和視圖一致性。

　　多視圖蒸餾

　　研究人員觀(guān)察到，從零開(kāi)始訓(xùn)練的神經(jīng)雙工輻射場(chǎng)無(wú)法匹配原始NeRF的高保真度，并產(chǎn)生諸多空間高頻偽影。為了克服這個(gè)問(wèn)題，他們使用預(yù)訓(xùn)練的NeRF作為T(mén)eacher模型來(lái)指導(dǎo)神經(jīng)雙工輻射場(chǎng)的優(yōu)化�？紤]到NeRF和團(tuán)隊(duì)模型的不同參數(shù)化，研究人員使用渲染的多視圖圖像來(lái)從Teacher模型中蒸餾knowledge。

　　一個(gè)重要的問(wèn)題是如何基于訓(xùn)練數(shù)據(jù)集生成有效的蒸餾視圖進(jìn)行渲染。為了產(chǎn)生有意義的插值視點(diǎn)，團(tuán)隊(duì)首先將所有camera的視角方向與原點(diǎn)對(duì)齊，并將camera姿態(tài)轉(zhuǎn)換為相對(duì)于原點(diǎn)的球坐標(biāo)(r， θ， φ)。

　　對(duì)于每個(gè)蒸餾視圖，根據(jù)球坐標(biāo)范圍隨機(jī)采樣半徑rs ~ U(rmin，rmax)，角度θs ~ U(θmin，θmax)和φs ~ U(φmin，φmax)。從球面坐標(biāo)轉(zhuǎn)換到笛卡爾坐標(biāo)后，得到了眾多符合原始視點(diǎn)分布的合適的插值姿態(tài)。

　　他們?cè)谒�有設(shè)置中將蒸餾視圖的數(shù)量定義為1000。模型將首先在蒸餾的視圖上進(jìn)行訓(xùn)練，然后使用訓(xùn)練圖像進(jìn)行微調(diào)，以產(chǎn)生更清晰的外觀(guān)。

　　實(shí)時(shí)渲染

　　一個(gè)完全訓(xùn)練的神經(jīng)雙工輻射場(chǎng)包括兩個(gè)網(wǎng)格，每個(gè)頂點(diǎn)的特征以及淺著色CNN。當(dāng)通過(guò)PyTorch訓(xùn)練模型時(shí)，在WebGL中使用GLSL著色器實(shí)現(xiàn)了跨平臺(tái)兼容性的實(shí)時(shí)渲染器。為了合成一個(gè)新的視圖，使用硬件柵格化在輸出圖像分辨率下有效地呈現(xiàn)兩個(gè)特征緩沖區(qū)。所述緩沖區(qū)與每個(gè)像素的視圖方向一起發(fā)送到CNN中，以聚合局部輻射特征并產(chǎn)生view-dependent RGB顏色。為了提高效率，在兩個(gè)渲染通道中實(shí)現(xiàn)CNN，每層一個(gè)通道。由于卷積核的緊湊尺寸，每個(gè)卷積層都可以以像素并行的方式執(zhí)行。

　　結(jié)果

　　表1中提供了廣泛的定量比較。與基于CUDA的KiloNeRF相比，團(tuán)隊(duì)的CUDA版本在PSNR(超過(guò)1 dB)和SSIM方面取得了明顯更好的渲染性能，運(yùn)行時(shí)FPS更高，訓(xùn)練時(shí)間更短。

　　基于CUDA的模型在Tanks&Temples方面的PSNR略低于KiloNeRF，如圖7所示。這可能是由于PSNR的特性導(dǎo)致，因?yàn)樗�只測(cè)量像素級(jí)的差異，而忽略了結(jié)構(gòu)的相似性。在這種情況下，SSIM將是一個(gè)更好的指標(biāo)來(lái)表示所述方法和KiloNeRF之間的性能差距(0.915 vs. 0.910)。

　　團(tuán)隊(duì)同時(shí)比較了基于webgl的SNeRG。即使在1920×1080分辨率下，他們基于webgl的模型都能在桌面級(jí)GPU實(shí)現(xiàn)180+ FPS，并在使用筆記本電腦實(shí)現(xiàn)30+ FPS，同時(shí)具有比SNeRG更好的渲染保真度。

　　另外，與SNeRG相比，所述方法需要的訓(xùn)練計(jì)算量減少了大約兩個(gè)數(shù)量級(jí)。表2展示了高分辨率設(shè)置下內(nèi)存消耗、圖像質(zhì)量和渲染速度的權(quán)衡比較，全面展示了團(tuán)隊(duì)方法的優(yōu)越性。

　　為了進(jìn)一步驗(yàn)證方法在渲染質(zhì)量方面優(yōu)于現(xiàn)有的快速渲染NeRF技術(shù)，圖7中展示了定性比較�？梢钥吹�，基線(xiàn)KiloNeRF和SNeRG都不能渲染場(chǎng)景的高質(zhì)量細(xì)節(jié)，這可能受到體素分辨率的限制。然而，單純提高體素分辨率將直接導(dǎo)致內(nèi)存成本的三次增長(zhǎng)。另外，在基線(xiàn)中存在一定的紋理偽影和錯(cuò)誤的view-dependent鏡面高光，在視覺(jué)上不如團(tuán)隊(duì)的方法。相比之下，他們的方法可以呈現(xiàn)出一致性和高保真度的視圖，并且具有良好的視圖泛化能力。

　　為了驗(yàn)證神經(jīng)雙工輻射的有效性，研究人員將其與僅考慮單個(gè)射線(xiàn)表面相交的變化進(jìn)行了比較。更具體地說(shuō)，只采用閾值為10-4的NeRF模型提取的網(wǎng)格，以確保幾何代理能夠覆蓋所有像素并避免孔洞偽影。

　　如表3和圖8所示，由于從NeRF提取的粗糙幾何結(jié)構(gòu)無(wú)法提供合理的著色位置，因此沒(méi)有雙工輻射的渲染會(huì)大大降低新視圖合成的質(zhì)量。

　　與大多數(shù)NeRF方法只沿單一光線(xiàn)積分輻射不同，團(tuán)隊(duì)通過(guò)卷積核聚合局部幾何表面的所有輻射信息。圖8和表3表明，卷積著色網(wǎng)絡(luò)可以更穩(wěn)健地呈現(xiàn)高保真的新視圖，并且在每條光線(xiàn)只考慮兩個(gè)樣本位置的情況下，有效地克服了約束不足的問(wèn)題。

　　圖8中的結(jié)果表明，沒(méi)有蒸餾視圖的優(yōu)化將導(dǎo)致幾何圖形中的高頻偽影，而空間卷積核同樣無(wú)法有效地處理。

　　在表1中，降低輻射特征維度和網(wǎng)絡(luò)大小會(huì)導(dǎo)致一定的質(zhì)量退化。因此，一個(gè)有趣的問(wèn)題是，是否可以通過(guò)增加網(wǎng)絡(luò)參數(shù)和感受野來(lái)持續(xù)提高性能。他們?cè)贔ox數(shù)據(jù)集上進(jìn)行了這個(gè)實(shí)驗(yàn)。更具體地說(shuō)，將網(wǎng)絡(luò)層增加一倍，并用更大的感受野增強(qiáng)原始使用的卷積層。如圖9所示，更深的網(wǎng)絡(luò)并沒(méi)有帶來(lái)更多的質(zhì)量收益。相比之下，合成的新視圖比團(tuán)隊(duì)提出的方法更加模糊，并且丟失了諸多紋理細(xì)節(jié)，這可能是由于深度網(wǎng)絡(luò)的學(xué)習(xí)困難造成。

　　由于方法涉及多視圖蒸餾，研究人員在表4中測(cè)量了模型與Teacher模型之間的定量差異。盡管PSNR和SSIM的數(shù)值結(jié)果略遜于Teacher模型，但由于神經(jīng)雙工輻射場(chǎng)具有更好的泛化能力，與人類(lèi)感知更相關(guān)的感知度量LPIPS出人意料地獲得了更好的性能。另一方面，Teacher模型TensoRF對(duì)于現(xiàn)實(shí)世界的交互應(yīng)用速度有限。相比之下，團(tuán)隊(duì)的方法在保持相當(dāng)?shù)匿秩举|(zhì)量的同時(shí)達(dá)到30+ FPS。

　　值得注意的是，WebGL版本比原始NeRF模型的速度提高了10000倍。另外，團(tuán)隊(duì)的方法可以在幾個(gè)小時(shí)內(nèi)使用單個(gè)GPU轉(zhuǎn)換預(yù)訓(xùn)練的NeRF。

　　總的來(lái)說(shuō)，香港城市大學(xué)和Meta提出了一種從預(yù)訓(xùn)練的NeRF中學(xué)習(xí)神經(jīng)雙工輻射場(chǎng)的新方法，并可用于實(shí)時(shí)新視合成。他們采用卷積著色網(wǎng)絡(luò)來(lái)提高渲染質(zhì)量，并提出了一種多視圖蒸餾策略來(lái)更好地優(yōu)化。所述方法在運(yùn)行時(shí)提供了顯著的改進(jìn)，改善或保持了渲染質(zhì)量，同時(shí)，與現(xiàn)有的高效NeRF方法相比，計(jì)算成本要低得多。

　　當(dāng)然，從NeRF中提取有用的雙工網(wǎng)格來(lái)表示透明或半透明場(chǎng)景是一項(xiàng)挑戰(zhàn)，團(tuán)隊(duì)提出的方法同樣不例外。另外，幾何代理的質(zhì)量將直接影響神經(jīng)表征的學(xué)習(xí)。同時(shí)，所述方法目前主要關(guān)注對(duì)象級(jí)和有界場(chǎng)景數(shù)據(jù)集，所以有效地渲染現(xiàn)實(shí)世界的無(wú)界場(chǎng)景是一個(gè)未來(lái)方向。最后，實(shí)驗(yàn)表明，足夠的可學(xué)習(xí)參數(shù)對(duì)于獲得更好的渲染保真度至關(guān)重要。因此，為了應(yīng)對(duì)WebGL版本中的性能下降，未來(lái)的研究可以考慮提高片段著色器中較大CNN的運(yùn)行效率，或者利用其他加速框架。