Meta為Quest串流發(fā)布AFI技術(shù) 提升網(wǎng)絡(luò)不穩(wěn)定下的PC VR串流體驗(yàn)

　　沒(méi)有線纜束縛，能夠自由暢玩虛擬世界是Quest2的關(guān)鍵亮點(diǎn)之一，而早前推出的Air Link更是允許你流式傳輸PC VR內(nèi)容。但有時(shí)無(wú)線網(wǎng)絡(luò)并不穩(wěn)定，出現(xiàn)丟幀和延遲，從而影響VR體驗(yàn)。

　　早前社區(qū)已經(jīng)傳聞Meta會(huì)針對(duì)網(wǎng)絡(luò)干擾問(wèn)題而為Quest發(fā)布一個(gè)類ASW功能�，F(xiàn)在，團(tuán)隊(duì)正式公開(kāi)了名為Air Link Framerate Insurance(AFI)的實(shí)驗(yàn)性功能：它可以在一定程度平滑網(wǎng)絡(luò)干擾所造成的視覺(jué)偽影。下文解釋了具體原理和啟用方式：

　　1. PC端的ASW

　　Meta最初是在2016年為Rift發(fā)布了涵蓋ASW 1.0。具體來(lái)說(shuō)，這項(xiàng)技術(shù)主要是通過(guò)插幀來(lái)將PC幀率提高一倍，亦即45 fps的應(yīng)用可以達(dá)到VR標(biāo)準(zhǔn)要求的90 fps，從而允許較低配置的PC設(shè)備能夠渲染出流暢的VR內(nèi)容。注意，ASW不是優(yōu)化畫面清晰度，而是帶來(lái)流暢的幀率。

　　在2019年，Meta又發(fā)布了結(jié)合ASW 1.0和Positional Timewarp(定位時(shí)間扭曲;PTW)的ASW 2.0，進(jìn)一步提升了插幀體驗(yàn)。

　　然而，一旦VR渲染離開(kāi)PC并遇到Wi-Fi干擾，你將無(wú)法享受PC端ASW的資源。

　　2. ASW vs AFI

　　當(dāng)無(wú)線信號(hào)變得不穩(wěn)定時(shí)，延遲或丟幀就會(huì)出現(xiàn)。為了保持虛擬世界的顯示，頭顯會(huì)不斷應(yīng)用旋轉(zhuǎn)校正以匹配頭部的當(dāng)前旋轉(zhuǎn)。但由于頭部平移，較近的對(duì)象會(huì)受到視差運(yùn)動(dòng)的影響，亦即不再校正移動(dòng)的對(duì)象，并出現(xiàn)抖動(dòng)偽影，從而對(duì)體驗(yàn)產(chǎn)生負(fù)面影響。

　　ASW的插幀技術(shù)旨在解決上述問(wèn)題，但不能用于Quest的流式傳輸，它無(wú)法減輕網(wǎng)絡(luò)傳輸峰值導(dǎo)致的丟幀。啟用ASW需要PC和頭顯之間的雙向通信，使其在網(wǎng)絡(luò)傳輸峰值期間無(wú)法使用。它同時(shí)需要可靠及時(shí)地交付間隔幀的質(zhì)量，而不穩(wěn)定的網(wǎng)絡(luò)并不能保證這一點(diǎn)。最后，與動(dòng)態(tài)比特率不同，ASW在長(zhǎng)時(shí)間使用時(shí)會(huì)增加輸入延遲。

　　所以對(duì)于Air Link，我們需要一種可以將ASW風(fēng)格的扭曲校正立即按需應(yīng)用。Meta稱這種技術(shù)為Air Link Framerate Insurance(AFI)。

　　啟用后，AFI將應(yīng)用與ASW 1.0類似的技術(shù)，但它是按需啟用和在Quest端啟用。提交到頭顯的前幾幀會(huì)提交到GPU，并用于計(jì)算運(yùn)動(dòng)矢量，然后應(yīng)用矢量來(lái)外推頭部運(yùn)動(dòng)和動(dòng)畫，從而平滑重新投影的幀。

　　如果你的無(wú)線連接足夠好，你應(yīng)該永遠(yuǎn)不會(huì)看到AFI，但若出現(xiàn)網(wǎng)絡(luò)不穩(wěn)定的情況，AFI將有望為你解決問(wèn)題。

　　注意：這項(xiàng)技術(shù)與Application SpaceWarp(AppSW)不同。AppSW是一種面向開(kāi)發(fā)者的技術(shù)，用于優(yōu)化原生Quest應(yīng)用的性能，需要集成游戲引擎。AFI則專注于緩解Air Link傳輸干擾，并在啟用時(shí)自動(dòng)適用于所有Link兼容應(yīng)用。

　　3. 如何啟用AFI

　　默認(rèn)情況下，所有用戶都禁用AFI。要打開(kāi)它，請(qǐng)按照以下說(shuō)明操作：

　　3.1 開(kāi)啟AFI的要求PC和Quest的軟件版本都必須是v38+ Quest 2(Quest 1不支持AFI) USB Link或Air Link

　　3.2 開(kāi)啟AFI的步驟 啟動(dòng)OculusDebug Tool(ODT) 將“ Mobile ASW”選項(xiàng)設(shè)置為“Enabled – Framerate Insurance” 其他選項(xiàng)解釋：Disabled/禁用是指強(qiáng)制禁用AFI;Auto/自動(dòng)是指采用默認(rèn)設(shè)置(在v38中，默認(rèn)設(shè)置為“禁用”)。注意，選擇“啟用”或“禁用”而不是“自動(dòng)”，這將覆蓋未來(lái)版本中的默認(rèn)設(shè)置。

　　[可選]將“(PC)Asynchronous Spacewarp”選項(xiàng)設(shè)置為“Disabled” 注意，默認(rèn)情況下PC ASW處于啟用狀態(tài)。對(duì)于期待通過(guò)Mobile ASW減少PC資源消耗的用戶，在AFI啟用時(shí)可以禁用PC ASW。要減少資源消耗，請(qǐng)禁用PC ASW。當(dāng)然，在大多數(shù)情況下，同時(shí)使用AFI和PC ASW是最高的視覺(jué)質(zhì)量選項(xiàng)，因?yàn)镻C ASW應(yīng)用了額外的延遲緩解技術(shù)(例如PTW)。

　　4. 注意

　　如果網(wǎng)絡(luò)條件非常糟糕，以至于連續(xù)丟幀，系統(tǒng)將停止對(duì)所述幀使用ASW，因?yàn)閺淖詈笠粋�(gè)“好”幀開(kāi)始，重投影時(shí)間越長(zhǎng)，其近似值就越差。

　　另外，計(jì)算相對(duì)幀運(yùn)動(dòng)的光流算法并不完善。如果幀中有重復(fù)圖案的紋理，這可能會(huì)混淆算法，并導(dǎo)致局部錯(cuò)誤。

　　5. 已知問(wèn)題

　　本版本不支持以120Hz運(yùn)行AFI。這樣做會(huì)導(dǎo)致顯著的抖動(dòng)和延遲偽影。但Meta表示將在未來(lái)的版本中解決這個(gè)錯(cuò)誤。另外，目前AFI只是實(shí)驗(yàn)性功能，有待進(jìn)一步完善和優(yōu)化。