Facebook宣布神經(jīng)超采樣實(shí)時(shí)渲染，實(shí)現(xiàn)VR高清顯示新突破，低清圖像實(shí)時(shí)轉(zhuǎn)高清

　　(映維網(wǎng) 2020年07月02日)VR實(shí)時(shí)渲染提出了一系列獨(dú)特的挑戰(zhàn)，其中最主要的是支持圖片級(jí)真實(shí)感效果，實(shí)現(xiàn)更高的分辨率，并達(dá)到比以往任何時(shí)候都更高的刷新率。為了應(yīng)對(duì)這一問題，F(xiàn)acebook Reality Labs(FRL)的研究人員開發(fā)了DeepFocus。這個(gè)于2018年12月首次亮相的渲染系統(tǒng)主要是利用人工智能在變焦頭顯中創(chuàng)建超逼真的視覺效果。團(tuán)隊(duì)將在今年的SIGGRAPH大會(huì)介紹研究的下一篇章，并表示它將開啟為虛擬現(xiàn)實(shí)創(chuàng)造未來高保真顯示器的全新里程碑。

　　延伸閱讀：Facebook研發(fā)AI注視點(diǎn)渲染DeepFovea，為一體機(jī)VR大大提升渲染效能

　　延伸閱讀：Facebook開源DeepFocus，實(shí)現(xiàn)逼真散焦效果，推動(dòng)下一代VR頭顯技術(shù)

　　將在SIGGRAPH大會(huì)介紹的論文名為“Neural Supersampling for Real-time Rendering(用于實(shí)時(shí)渲染的神經(jīng)超采樣)”介紹了一種可以將低分辨率輸入圖像轉(zhuǎn)換為高分辨率輸出的機(jī)器學(xué)習(xí)方法。這種upsampling(上采樣)過程利用了神經(jīng)網(wǎng)絡(luò)并以場景統(tǒng)計(jì)進(jìn)行訓(xùn)練，從而能夠恢復(fù)清晰的細(xì)節(jié)，同時(shí)節(jié)省在實(shí)時(shí)應(yīng)用程序中直接渲染所述細(xì)節(jié)的計(jì)算開銷。

　　上面的GIF動(dòng)圖比較了低分辨率顏色輸出和神經(jīng)超采樣方法實(shí)現(xiàn)的16x超采樣輸出。

　　1. 研究的是什么？

　　為了降低高分辨率顯示器的渲染成本，F(xiàn)RL使用的輸入圖像的像素比期望輸出少16倍。例如，如果目標(biāo)顯示器的分辨率為3840×2160，F(xiàn)RL的神經(jīng)網(wǎng)絡(luò)將以游戲引擎渲染的960×540分辨率輸入圖像著手，并作為一種實(shí)時(shí)后處理過程將其upsample(上采樣)至目標(biāo)顯示分辨率。

　　盡管社區(qū)已經(jīng)存在大量關(guān)于攝影圖像的機(jī)器學(xué)習(xí)upsampling(上采樣)研究，但沒有一個(gè)直接談及渲染內(nèi)容(如游戲引擎生成的圖像)的獨(dú)特需求。這是由于渲染圖像和攝影圖像在圖像形成方面的根本區(qū)別。在實(shí)時(shí)渲染中，每個(gè)采樣點(diǎn)在空間和時(shí)間上都是一個(gè)點(diǎn)。所以渲染內(nèi)容通常是高度鋸齒，會(huì)產(chǎn)生鋸齒狀的線條和其他采樣偽影。對(duì)于這一點(diǎn)，你可以參閱本文的低分辨率輸入示例。這使得渲染內(nèi)容的upsampling上采樣既是一個(gè)抗鋸齒問題，同時(shí)又是一個(gè)內(nèi)插問題，不同于已得到計(jì)算機(jī)視覺領(lǐng)域充分研究的去噪和去模糊問題。對(duì)于輸入圖像高度鋸齒，以及需要插值的像素完全丟失信息這一事實(shí)，這為渲染內(nèi)容生成高保真和時(shí)間相干重建提出了重大挑戰(zhàn)。

　　用作神經(jīng)超采樣方法輸入的示例渲染屬性以低分辨率渲染，包括顏色、深度和密集運(yùn)動(dòng)矢量。

　　另一方面，在實(shí)時(shí)渲染中，我們可以擁有的不僅只是攝像頭生成的彩色圖像。正如DeepFocus所示，現(xiàn)代渲染引擎中可以同時(shí)提供深度值等附加信息。FRL研究人員發(fā)現(xiàn)，對(duì)于神經(jīng)超采樣，由運(yùn)動(dòng)矢量提供的附加輔助信息特別有效。運(yùn)動(dòng)矢量定義了序列幀中像素之間的幾何對(duì)應(yīng)關(guān)系。換言之，每個(gè)運(yùn)動(dòng)矢量指向一個(gè)亞像素位置，其中在一幀中可見的曲面點(diǎn)可能已經(jīng)出現(xiàn)在上一幀中。所述值通常是利用計(jì)算機(jī)視覺方法進(jìn)行估計(jì)，但這種光流估計(jì)算法容易出錯(cuò)。相比之下，渲染引擎可以直接生成密集運(yùn)動(dòng)矢量，從而為應(yīng)用于渲染內(nèi)容的神經(jīng)超采樣提供可靠的、豐富的輸入。

　　FRL的方法是以上述觀察作為基礎(chǔ)，同時(shí)結(jié)合額外的附加信息，以及一個(gè)旨在最大限度提高圖像和視頻質(zhì)量并提供實(shí)時(shí)性能的全新時(shí)空神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)。

　　相關(guān)論文：Neural Supersampling for Real-time Rendering

　　騰訊文檔下載：Neural Supersampling for Real-time Rendering

　　在推理時(shí)，神經(jīng)網(wǎng)絡(luò)以低分辨率渲染當(dāng)前幀和多個(gè)先前幀的渲染屬性作為輸入，如每幀的顏色、深度貼圖和密集運(yùn)動(dòng)矢量。網(wǎng)絡(luò)的輸出是與當(dāng)前幀相對(duì)應(yīng)的高分辨率彩色圖像。網(wǎng)絡(luò)采用監(jiān)督學(xué)習(xí)的方法進(jìn)行訓(xùn)練。在訓(xùn)練時(shí)，提供采用抗鋸齒函數(shù)并以高分辨率渲染，同時(shí)與每個(gè)低分辨率輸入幀配對(duì)的參考圖像，將其作為訓(xùn)練優(yōu)化的目標(biāo)圖像。

　　示例結(jié)果：從上到下是低分辨率顏色輸入;所介紹方法的16x超采樣結(jié)果;以及離線渲染的目標(biāo)高分辨率圖像。

　　示例結(jié)果：從上到下是低分辨率顏色輸入;所介紹方法的16x超采樣結(jié)果;以及離線渲染的目標(biāo)高分辨率圖像。

　　示例結(jié)果：從左到右是低分辨率顏色輸入;所介紹方法的16x超采樣結(jié)果;以及離線渲染的目標(biāo)高分辨率圖像。

　　2. 下一步計(jì)劃

　　FRL團(tuán)隊(duì)表示：“神經(jīng)渲染在AR/VR中有著巨大的潛力。盡管這一問題具有挑戰(zhàn)性，但我們希望鼓勵(lì)更多的研究人員在這方面開展研究。隨著AR/VR顯示器向著更高分辨率、更快幀速率和更高真實(shí)感的方向發(fā)展，神經(jīng)超采樣方法可能是從場景數(shù)據(jù)中推斷出清晰細(xì)節(jié)而非直接渲染的關(guān)鍵。這項(xiàng)研究為未來的高分辨率VR指明了方向，不僅僅是關(guān)于顯示器，同時(shí)包括實(shí)際驅(qū)動(dòng)所需的算法。”

　　原文鏈接：https://yivian.com/news/76087.html