Facebook開源DeepFocus 實(shí)現(xiàn)逼真散焦效果 推動(dòng)下一代VR頭顯技術(shù)

　　2018年12月20日，F(xiàn)acebook Reality Labs(FRL)在今年早些時(shí)候亮相了Half Dome，這款頭顯原型的眼動(dòng)追蹤攝像頭、寬視場(chǎng)光學(xué)元件、以及自主聚焦的顯示器都預(yù)告著行業(yè)朝逼真VR體驗(yàn)前進(jìn)的下一步。通過(guò)調(diào)整顯示器以匹配用戶眼睛運(yùn)動(dòng)，Half Dome的變焦設(shè)計(jì)能夠令每一個(gè)虛擬對(duì)象清晰對(duì)焦。在為VR創(chuàng)建更為舒適、自然和身臨其境的感覺目標(biāo)中，這一方法帶來(lái)了真正的進(jìn)步。但要實(shí)現(xiàn)其所有的潛能，Half Dome的先進(jìn)硬件需要搭載同樣先進(jìn)的軟件。

　　在今年OC5大會(huì)的主題演講中，Oculus首席科學(xué)家邁克爾·亞伯拉什就透露過(guò)借助可以實(shí)時(shí)實(shí)現(xiàn)“自然注視跟隨模糊”的AI渲染器DeepFocus，他們“在解決這個(gè)問題上已經(jīng)取得了相當(dāng)大的進(jìn)步”。他同時(shí)表示Oculus將在未來(lái)幾個(gè)月內(nèi)發(fā)表他們的研究成果。

圖片來(lái)源：云圖視覺

　　今天，Oculus正式向我們分享了DeepFocus。這一基于AI的渲染系統(tǒng)能夠協(xié)助Half Dome實(shí)現(xiàn)模擬人類感知世界的散焦效果。它是第一款能夠?qū)崿F(xiàn)如此效果的系統(tǒng)，可以模糊用戶當(dāng)下無(wú)法聚焦的場(chǎng)景部分，并且是以一種逼真、實(shí)時(shí)的注視跟隨方式實(shí)現(xiàn)。于本月在日本東京召開的SIGGRAPH亞洲大會(huì)上，Oculus已經(jīng)展示了相關(guān)的研究論文，他們同時(shí)開源了DeepFocus，包括系統(tǒng)的代碼和用于訓(xùn)練的數(shù)據(jù)集，目標(biāo)是幫助更廣泛的VR研究人員將模糊融入至他們的研究之中。以下映維網(wǎng)整理了Oculus團(tuán)隊(duì)的具體分享：

　　渲染模糊對(duì)超逼真體驗(yàn)而言十分關(guān)鍵

　　DeepFocus由FRL的多學(xué)科研究團(tuán)隊(duì)開發(fā)。這與電影美學(xué)或炫酷的視覺效果無(wú)關(guān)。實(shí)際上，渲染模糊越精確，用戶就越不可能注意到它。FRL的視覺科學(xué)家瑪麗娜·贊諾麗(Marina Zannoli)很早就加入了DeepFocus項(xiàng)目，并認(rèn)為對(duì)于真正逼真的體驗(yàn)而言，關(guān)鍵是聚焦和散焦視覺效果的組合。贊諾麗指出：“我們最終的目標(biāo)是提供與現(xiàn)實(shí)無(wú)法區(qū)分的視覺體驗(yàn)。我們的眼睛就像是微小的相機(jī)：當(dāng)它們聚焦于一個(gè)特定的對(duì)象時(shí)，不同深度的場(chǎng)景部分將看起來(lái)很模糊。那些模糊的區(qū)域有助于我們的視覺系統(tǒng)理解世界的三維結(jié)構(gòu)，并幫助我們決定下一個(gè)焦點(diǎn)。盡管變焦VR頭顯可以在用戶注視的任何位置提供清晰的圖像，但DeepFocus使得我們能夠像現(xiàn)實(shí)世界一樣渲染場(chǎng)景的其余部分：自然模糊。”

　　逼真視網(wǎng)膜模糊一個(gè)最大的潛在優(yōu)勢(shì)是，其可以帶來(lái)更為舒適的VR體驗(yàn)。FRL的顯示系統(tǒng)研究小組負(fù)責(zé)人道格拉斯·蘭曼(Douglas Lanman)解釋說(shuō)：“重點(diǎn)是實(shí)現(xiàn)全天候的身臨其境。無(wú)論你是連續(xù)數(shù)小時(shí)開玩游戲，還是查閱一個(gè)無(wú)聊的電子表格，眼睛疲勞，視覺疲勞，以及你愿意花一天時(shí)間看著的精美圖片，所有這一切都很重要。”

　　在2015年Half Dome項(xiàng)目仍位于早期階段的時(shí)候，蘭曼就已經(jīng)認(rèn)識(shí)到了渲染模糊的必要性。即便開展項(xiàng)目只是僅數(shù)月時(shí)間，但早期原型已經(jīng)展示了在VR中創(chuàng)造清晰焦點(diǎn)的積極前景。但基于軟件的散焦效果是一個(gè)主要障礙。我們的過(guò)程無(wú)法利用現(xiàn)有的技術(shù)來(lái)渲染非VR游戲中的實(shí)時(shí)模糊，因?yàn)樗鼈兏�多是與影視攝制方法有關(guān)，目標(biāo)是產(chǎn)生炫酷的電影效果(如精美的散焦背景)，并且專門用于平板顯示器和電視，而非奔著逼真感這個(gè)目的去。這種快速但不準(zhǔn)確的“游戲模糊”實(shí)現(xiàn)方法與Half Dome的任務(wù)背道而馳。對(duì)于Half Dome，其目標(biāo)是忠實(shí)地還原光線進(jìn)入人類視網(wǎng)膜的方式。

　　我們投入了數(shù)個(gè)月的時(shí)間來(lái)探索如何通過(guò)傳統(tǒng)技術(shù)來(lái)優(yōu)化計(jì)算顯示，但結(jié)果仍然不夠快，無(wú)法產(chǎn)生真正的實(shí)時(shí)模糊，無(wú)法準(zhǔn)確匹配物理現(xiàn)實(shí)。這些早期的努力揭示了在VR中渲染逼真模糊的雙重挑戰(zhàn)，亦即我們需要令人難以置信的高渲染速度，以及先進(jìn)頭顯所需的高圖像質(zhì)量水平。渲染模糊不是應(yīng)用于場(chǎng)景時(shí)的一次性過(guò)程。注視跟隨的模糊必須實(shí)現(xiàn)快速，近乎即時(shí)的散焦效果，從而才能基本上匹配每個(gè)眼睛的運(yùn)動(dòng)。與此同時(shí)，其保真度無(wú)法單純通過(guò)降低非聚焦對(duì)象的分辨率來(lái)實(shí)現(xiàn)。

　　蘭曼發(fā)現(xiàn)，單純地投入更多的處理能力來(lái)解決問題并不可行。對(duì)于2016年的Half Dome demo，其通過(guò)稱為累積緩沖渲染(accumulation buffer rendering)的過(guò)程實(shí)現(xiàn)了實(shí)時(shí)模糊，其中每個(gè)場(chǎng)景渲染32次。但這種方法可行的原因只是因?yàn)檎麄�(gè)場(chǎng)景十分簡(jiǎn)單，它不可能支持更廣泛的VR體驗(yàn)，尤其是因?yàn)樘m曼專注于為整個(gè)VR社區(qū)提供所有的軟件解決方案。蘭曼指出：“我希望它能夠立即用于每一個(gè)游戲，這樣我們就不必要求開發(fā)者改變他們的游戲，我渴望開箱即用的解決方案。”

　　2. 將深度學(xué)習(xí)帶到VR

　　蘭曼決定開發(fā)由AI驅(qū)動(dòng)的軟件，而不是被動(dòng)地等待未來(lái)的處理器來(lái)滿足我們的要求，或者要求用戶自行提供更多的處理能力。具體而言，他希望利用深度學(xué)習(xí)，一種能夠通過(guò)對(duì)大量相關(guān)數(shù)據(jù)進(jìn)行訓(xùn)練，并從中學(xué)習(xí)如何執(zhí)行特定任務(wù)的AI系統(tǒng)。深度學(xué)習(xí)算法通常用于分析圖像，甚至是生成圖像。盡管芯片廠商一直在朝這個(gè)方向發(fā)展，通過(guò)在最新的芯片中添加兼容AI的學(xué)習(xí)核心來(lái)提高圖像質(zhì)量的上限，但在與VR相關(guān)的系統(tǒng)中，深度學(xué)習(xí)卻少之又少。蘭曼說(shuō)道：“我們決定利用那些正在推動(dòng)行業(yè)趨勢(shì)的相同AI工具。不僅僅只是生成像素，而且要提供前所未有的真實(shí)感。”

　　對(duì)于這個(gè)深度學(xué)習(xí)戰(zhàn)略，蘭曼從聘請(qǐng)不列顛哥倫比亞大學(xué)的人工智能研究員肖磊開始，后者的博士研究包括數(shù)值優(yōu)化和計(jì)算攝影學(xué)的機(jī)器學(xué)習(xí)。蘭曼指出：“我相信當(dāng)時(shí)是肖磊來(lái)到實(shí)驗(yàn)室的第一天，我告訴他道，‘我希望像Half Dome這樣的計(jì)算顯示器能夠首次實(shí)時(shí)運(yùn)行，而且這個(gè)解決方案必須適用于Oculus Store中的每款內(nèi)容，無(wú)需要求開發(fā)者進(jìn)行重新編譯。”

　　對(duì)于已經(jīng)成為FRL研究科學(xué)家的肖磊，他的任務(wù)是根據(jù)已經(jīng)用于ASW 2.0幀平滑技術(shù)，以及大多數(shù)游戲引擎都普遍提供的基本顏色和深度(RGB-D)輸入來(lái)生成逼真的模糊，而不是根據(jù)一些復(fù)雜的，與焦點(diǎn)相關(guān)的新參數(shù)。這一領(lǐng)域早已存在相關(guān)的研究，但在虛擬場(chǎng)景深度不連續(xù)處出現(xiàn)的偽影，以及現(xiàn)代VR顯示分辨率下的運(yùn)行時(shí)性能不足一直都在對(duì)其造成困擾。理論上，如果AI系統(tǒng)有著對(duì)散焦的充分理解，這時(shí)無(wú)論相鄰像素的相對(duì)深度或3D注視位置如何，它都可以預(yù)測(cè)相鄰像素是如何混合在一起。如果這種技術(shù)可以用于簡(jiǎn)單的RGB-D輸入，我們就可以將逼真的模糊應(yīng)用于幾乎所有的VR體驗(yàn)。

　　為了實(shí)現(xiàn)成熟圖像理解和直接輸入的這種組合，肖磊建立了一個(gè)全新的神經(jīng)網(wǎng)絡(luò)架構(gòu)：一個(gè)專門針對(duì)實(shí)時(shí)渲染模糊進(jìn)行優(yōu)化的架構(gòu)。與用于深度學(xué)習(xí)圖像分析的更傳統(tǒng)AI系統(tǒng)不同，肖磊研發(fā)的系統(tǒng)可以處理視覺效果，并且同時(shí)維持高質(zhì)量VR所需的超清晰圖像分辨率。

　　但與所有基于深度學(xué)習(xí)的系統(tǒng)一樣，F(xiàn)RL需要大量的訓(xùn)練數(shù)據(jù)。具體來(lái)說(shuō)，DeepFocus需要瀏覽數(shù)千個(gè)以不同距離放置各種對(duì)象的圖像，并建立起對(duì)聚焦和散焦的理解。但是，沒有現(xiàn)成的數(shù)據(jù)集能夠提供DeepFocus團(tuán)隊(duì)所需的各種曲面和形狀。所以肖磊和FRL的技術(shù)美術(shù)馬特·查特曼(Matt Chapman)自行創(chuàng)建了這樣一個(gè)數(shù)據(jù)庫(kù)。

　　查普曼是從Oculus產(chǎn)品團(tuán)隊(duì)來(lái)到FRL，而他在產(chǎn)品團(tuán)隊(duì)期間曾創(chuàng)建過(guò)一系列著名和優(yōu)秀的demo。對(duì)于DeepFocus，查普曼將美學(xué)放在了一邊，并為肖磊提供了一個(gè)虛擬對(duì)象的交互式堆積場(chǎng)。查普曼的隨機(jī)場(chǎng)景生成器生成了由大量對(duì)象組成的場(chǎng)景，包括來(lái)自盧浮宮雕塑的3D掃描，以及合成球體，立方體和3D曲線。這些對(duì)象隨機(jī)放置在3D空間中，深度范圍從25厘米到10米。

　　由此產(chǎn)生的對(duì)象集合令人眼花繚亂，但一種方法可以解決隨機(jī)場(chǎng)景生成器的視覺問題。這種不自然的，令人眼花繚亂的幾何形狀和遮擋物具有比現(xiàn)實(shí)生活中更多種類的紋理，表面和其他特征，但可以作為深度學(xué)習(xí)系統(tǒng)的一種焦點(diǎn)分析訓(xùn)練營(yíng)。“這是我第一次與技術(shù)美術(shù)進(jìn)行密切合作。”肖磊如是說(shuō)道。像馬特·查普曼這樣的技術(shù)美術(shù)在研究機(jī)構(gòu)中很少見，但對(duì)于FRL的AR和VR創(chuàng)新方法而言至關(guān)重要。肖磊表示：“為了改進(jìn)隨機(jī)場(chǎng)景生成器，從微調(diào)對(duì)象，紋理和材料的分布到減少ground truth圖像的渲染時(shí)間，馬特和我進(jìn)行了大量的迭代。”總的來(lái)說(shuō)，他們利用隨機(jī)場(chǎng)景生成器繪制了196000張圖像來(lái)對(duì)系統(tǒng)進(jìn)行訓(xùn)練，使得DeepFocus能夠理解如何在多變和不熟悉的VR環(huán)境中渲染模糊。

　　在接下來(lái)的一年中，DeepFocus團(tuán)隊(duì)增加了視覺科學(xué)家(如贊諾麗)，以及研究科學(xué)家亞歷山大·費(fèi)克斯(Alexander Fix)和安東·凱普蘭延(Anton Kaplanyan)。他們幫助設(shè)計(jì)了系統(tǒng)的深度學(xué)習(xí)方法。FRL的圖形研究團(tuán)隊(duì)負(fù)責(zé)人凱普蘭延表示：“對(duì)于之前用于渲染高度逼真模糊的方法，它們?nèi)�都是基于人工制作的�?shù)學(xué)模型，邊界情況與限制會(huì)導(dǎo)致低質(zhì)量的結(jié)果和偽影。利用深度學(xué)習(xí)，我們的系統(tǒng)能夠?qū)崿F(xiàn)復(fù)雜的效果和關(guān)系，例如前景與背景散焦，以及遮擋邊界處的正確模糊。通過(guò)生成豐富的ground truth數(shù)據(jù)庫(kù)，我們能夠覆蓋更廣泛的散焦效果，并為景深合成設(shè)立了新的標(biāo)準(zhǔn)。”

　　為了幫助證明DeepFocus能夠?qū)嶋H應(yīng)用于Half Dome，并且利用當(dāng)前的處理器來(lái)實(shí)時(shí)渲染模糊，F(xiàn)RL的研究軟件工程師薩拉·諾里(Salah Nouri)加入了項(xiàng)目。曾參與過(guò)3A級(jí)游戲制作的諾里表示：“當(dāng)我加入團(tuán)隊(duì)時(shí)，他們已經(jīng)建立好網(wǎng)絡(luò)架構(gòu)，而且運(yùn)行時(shí)已經(jīng)足夠用于以1080p分辨率運(yùn)行的常規(guī)PC或主機(jī)游戲。但我們至少需要將性能提高四倍，因?yàn)閂R的要求更高。”

　　諾里能夠在搭載四枚顯卡的設(shè)備上演示DeepFocus和Half Dome。盡管這是比消費(fèi)者目前可用的設(shè)備功能更強(qiáng)大，但仍然屬于一項(xiàng)重大的技術(shù)進(jìn)步。諾里表示：“我們需要非常小心地將四枚顯卡之間的工作并行化，以便它們之間的內(nèi)存?zhèn)鬏敳粫?huì)產(chǎn)生任何額外的延遲，同時(shí)幾乎無(wú)需任何計(jì)算成本。”

　　FRL對(duì)軟件或硬件的探索尚未結(jié)束，我們的最終目標(biāo)是在一枚顯卡上實(shí)時(shí)運(yùn)行渲染模糊。但無(wú)論是將人工智能技術(shù)集成到圖形渲染中，還是開發(fā)新的，更具沉浸感的逼真VR體驗(yàn)，我們?cè)赟IGGRAPH亞洲大會(huì)展示的四顯卡demo與研究代表了一個(gè)重要的里程碑。蘭曼說(shuō)道：“我們想看看渲染模糊可以為VR帶來(lái)什么增益，但它必須是在真實(shí)的游戲和真實(shí)的VR設(shè)置中運(yùn)行。我們做到了，而那解鎖了全新的理解。”

　　3. 未來(lái)屬于DeepFocus

　　對(duì)于DeepFocus和Half Dome，我們現(xiàn)在擁有了可以更好理解真實(shí)感如何對(duì)用戶AR與VR體驗(yàn)作出貢獻(xiàn)的工具。盡管我們現(xiàn)在是將DeepFocus用于Hald Dome之中，但系統(tǒng)的深度學(xué)習(xí)可以實(shí)現(xiàn)跨硬件兼容。我們的研究論文表明，除了在變焦顯示器上渲染實(shí)時(shí)模糊外，DeepFocus同時(shí)支持用于多焦點(diǎn)和光場(chǎng)顯示的高質(zhì)量圖像合成。這使得我們的系統(tǒng)適用于所有下一代頭顯技術(shù)。

　　通過(guò)開源我們的DeepFocus與訓(xùn)練數(shù)據(jù)，我們不僅為開發(fā)新VR系統(tǒng)的工程師提供了框架，而且為視覺科學(xué)家和研究長(zhǎng)期感知問題的其他研究人員提供了框架。例如，我們的視覺系統(tǒng)是如何利用環(huán)境中的模糊來(lái)重新聚焦呢?對(duì)于世界的三維結(jié)構(gòu)，模糊可以為大腦提供什么信息呢?DeepFocus有可能提供了渲染實(shí)時(shí)模糊的最后一塊拼圖，但基于我們系統(tǒng)的前沿研究才剛剛開始。