蘋果專利介紹注視點(diǎn)顯示器應(yīng)對(duì)眼動(dòng)追蹤輸入數(shù)據(jù)丟失的緩沖方法

　　眼動(dòng)追蹤及相關(guān)的注視點(diǎn)渲染越發(fā)成為AR/VR頭顯的標(biāo)配。簡(jiǎn)單來(lái)說(shuō)，我們?nèi)搜蹖?duì)注視點(diǎn)區(qū)域的敏銳度最高，而外圍視場(chǎng)則比較模糊。利用這一特點(diǎn)，我們可以追蹤用戶眼睛的注視點(diǎn)位置，然后集中渲染注視點(diǎn)區(qū)域，并降低外圍視場(chǎng)的渲染性能。這可以有效提高能效并幫助實(shí)現(xiàn)更高的刷新率。

　　但在使用注視點(diǎn)渲染時(shí)，如果眼動(dòng)追蹤失靈并造成眼動(dòng)追蹤數(shù)據(jù)輸入丟失，系統(tǒng)應(yīng)該如何應(yīng)對(duì)呢?日前美國(guó)專利商標(biāo)局公布了一份名為“Recovery from eye-tracking loss in foveated displays”的蘋果專利申請(qǐng)，而這份文件主要介紹了注視點(diǎn)顯示器應(yīng)對(duì)眼動(dòng)追蹤輸入數(shù)據(jù)丟失的緩沖方法，尤其是針對(duì)動(dòng)態(tài)注視點(diǎn)渲染。

　　所述發(fā)明涉及用于注視點(diǎn)內(nèi)容(如動(dòng)態(tài)注視點(diǎn)內(nèi)容)的恢復(fù)技術(shù)。蘋果解釋道，對(duì)于注視點(diǎn)內(nèi)容，圖像的特定方面(例如細(xì)節(jié)量、分辨率、圖像質(zhì)量或亮度)可以基于用戶眼睛注視點(diǎn)之于顯示器的位置進(jìn)行改變，例如最優(yōu)化用戶注視區(qū)域的圖像質(zhì)量，并降低外圍區(qū)域的圖像質(zhì)量，從而減少電子顯示器顯示內(nèi)容的功率量、用于生成內(nèi)容的計(jì)算量以及用于流式顯示內(nèi)容的帶寬量。

　　對(duì)于靜態(tài)注視點(diǎn)渲染，對(duì)于向用戶顯示的每一幀內(nèi)容，顯示器固定地為各個(gè)區(qū)域分配不同的分辨率。對(duì)于動(dòng)態(tài)注視點(diǎn)渲染，顯示器將動(dòng)態(tài)地根據(jù)用戶注視點(diǎn)的變化而而改變不同區(qū)域的分辨率。

　　所以對(duì)于動(dòng)態(tài)注視點(diǎn)渲染，在蘋果描述的一個(gè)實(shí)施例中，電子設(shè)備可以包括配置成向用戶顯示內(nèi)容的顯示器系統(tǒng)，配置成追蹤用戶眼睛注視點(diǎn)的眼動(dòng)追蹤器系統(tǒng)，配置成確定顯示器高分辨率區(qū)域大小和位置的注視點(diǎn)系統(tǒng)，以及用于改變顯示區(qū)域圖像質(zhì)量的處理電路。

　　在一個(gè)實(shí)施例中，將來(lái)自眼動(dòng)追蹤系統(tǒng)的連續(xù)輸入提供給注視點(diǎn)系統(tǒng)，并用于確定顯示器高分辨率區(qū)域的大小和位置。這時(shí)，處理電路可以響應(yīng)高分辨率區(qū)域的大小和位置致使顯示器執(zhí)行相應(yīng)操作，亦即在對(duì)應(yīng)于注視點(diǎn)位置的顯示器區(qū)域以高分辨率顯示圖像，并且注視點(diǎn)區(qū)域以外的外圍區(qū)域以較低分辨率顯示圖像。

　　如果眼動(dòng)追蹤系統(tǒng)不能確定用戶眼睛的注視點(diǎn)，或者如果與眼動(dòng)追蹤系統(tǒng)的連接中斷，則動(dòng)態(tài)注視點(diǎn)渲染會(huì)失靈，亦即高分辨率圖像顯示區(qū)域不能再對(duì)應(yīng)于用戶的眼睛注視，從而可能減損用戶體驗(yàn)質(zhì)量。

　　針對(duì)這個(gè)問(wèn)題，處理電路可以改變注視點(diǎn)區(qū)域的一個(gè)或多個(gè)方面(例如大小和分辨率等)，以應(yīng)對(duì)眼動(dòng)追蹤數(shù)據(jù)的丟失，直到滿足閾值。隨著時(shí)間的推移，由于失去了眼動(dòng)追蹤數(shù)據(jù)，注視點(diǎn)區(qū)域向顯示器的中心區(qū)域移動(dòng)。換句話說(shuō)，如果出現(xiàn)眼動(dòng)追蹤數(shù)據(jù)丟失，系統(tǒng)可以擴(kuò)大注視點(diǎn)區(qū)域，亦即擴(kuò)大高分辨率顯示區(qū)域的大小(甚至整個(gè)顯示器完全采取高分辨率顯示)，并且同時(shí)將高分辨率顯示區(qū)域向顯示器的中心區(qū)域移動(dòng)，以這種方式來(lái)暫時(shí)應(yīng)對(duì)眼動(dòng)追蹤數(shù)據(jù)輸入的丟失，直至眼動(dòng)追蹤輸入的恢復(fù)。

　　圖7A是表示利用靜態(tài)注視點(diǎn)渲染的示例。在靜態(tài)注視點(diǎn)渲染，電子顯示器的各分辨率區(qū)域保持固定的大小和位置。如圖所示，電子顯示器18包括高分辨率區(qū)域62、中分辨率區(qū)域64和低分辨率區(qū)域66。

　　作為一個(gè)示例，低分辨率區(qū)域66的分辨率可以是約10像素/度(ppd)，中分辨率區(qū)域64的分辨率可以是約20 ppd，高分辨率區(qū)域62的分辨率可以是約40 ppd。

　　圖7B是動(dòng)態(tài)注視點(diǎn)渲染的示例。圖70包括第一框72、第二框74和第三框76，每個(gè)框具有高分辨率區(qū)域78、中等分辨率區(qū)域80和低分辨率區(qū)域82。第一框72、第二框74和第三框76各自可以表示單個(gè)內(nèi)容框的不同部分(即單個(gè)圖像的不同部分)，或者各自可以表示連續(xù)內(nèi)容幀的不同內(nèi)容幀。

　　框72、74、76基于用戶眼睛注視點(diǎn)而移動(dòng)到電子顯示器18的不同位置。在從第一框72到第二框74的轉(zhuǎn)換期間，亦即當(dāng)用戶眼睛注視點(diǎn)從第一框72的位置移動(dòng)到第二框74的位置時(shí)，高分辨率區(qū)域78和中分辨率區(qū)域80從電子顯示器18的左下角附近移動(dòng)到電子顯示器18的上中位置，以此類推。

　　圖10A是具有中等分辨率區(qū)域102和高分辨率區(qū)域104的電子顯示器18。高分辨率區(qū)域104和中分辨率區(qū)域102位于低分辨率區(qū)域100內(nèi)。高分辨率區(qū)域104和中分辨率區(qū)域102以用戶眼睛注視點(diǎn)106為中心。

　　圖10B是根據(jù)用戶眼睛注視點(diǎn)106在電子顯示器18的移動(dòng)而移動(dòng)中分辨率區(qū)域102和高分辨率區(qū)域104。換句話說(shuō)，當(dāng)用戶眼睛注視點(diǎn)106遠(yuǎn)離電子顯示器18的中心時(shí)，中分辨率區(qū)域102和高分辨率區(qū)域104各自以箭頭108指示的相同速度在相同方向移動(dòng)。只要眼睛注視點(diǎn)106保持相同的方向和速度，中等和高分辨率區(qū)域102、104將保持相同的方向和速度。如果改變方向或速度，則中分辨率區(qū)域和高分辨率區(qū)域102、104以改變成相同的方向或速度以基本相同。

　　圖10C是針對(duì)注視點(diǎn)追蹤丟失的一個(gè)響應(yīng)示例。為了指示眼動(dòng)追蹤數(shù)據(jù)的丟失，圖10C中沒有示出用戶眼睛的注視點(diǎn)106。當(dāng)發(fā)生眼動(dòng)追蹤丟失時(shí)，中等分辨率區(qū)域102的大小和高分辨率區(qū)域104的大小在注視點(diǎn)106的最后已知位置附近增加。中分辨率區(qū)域和高分辨率區(qū)域102、104的移動(dòng)可在注視點(diǎn)106的最后已知位置停止，亦即不再移動(dòng)。在特定情況下，中分辨率區(qū)域102和高分辨率區(qū)域104的大小成比例地增加，甚至完全覆蓋顯示器的所有區(qū)域。

　　在另一種情況中，為了減少處理量，當(dāng)發(fā)生眼動(dòng)追蹤丟失時(shí)，可以減少高分辨率區(qū)域的大小，而轉(zhuǎn)而增加中分辨率區(qū)域的大小，甚至將中分辨率區(qū)域的大小完全覆蓋顯示器的所有區(qū)域。

　　圖12A是具有布置在低分辨率區(qū)域100內(nèi)的中分辨率區(qū)域102和高分辨率區(qū)域104的電子顯示器18。高分辨率區(qū)域104和中分辨率區(qū)域102以電子顯示器18的用戶眼睛注視點(diǎn)106為中心。

　　在圖12B中，眼睛注視點(diǎn)在電子顯示器18沿著箭頭140移動(dòng)，而中等分辨率和高分辨率區(qū)域102、104同樣沿箭頭140的方向移動(dòng)。中分辨率和高分辨率區(qū)域102、104的移動(dòng)速度可以與注視點(diǎn)106的速度相同。

　　在圖12C中，當(dāng)發(fā)生眼動(dòng)追蹤丟失時(shí)，中分辨率區(qū)域102的大小開始增大，而高分辨率區(qū)域104的大小或分辨率則開始減小。對(duì)于這種方式，盡管處理能力因中分辨率區(qū)域的增加而增加，但同時(shí)可以通過(guò)高分辨率區(qū)域104的大小或分辨率減少而減少。

　　相關(guān)專利：Apple Patent | Recovery from eye-tracking loss in foveated displays

　　名為“Recovery from eye-tracking loss in foveated displays”的蘋果專利申請(qǐng)最初在2021年2月提交，并在日前由美國(guó)專利商標(biāo)局公布。需要注意的是，這只是一份發(fā)明，不確定蘋果是否會(huì)或于何時(shí)將其應(yīng)用于頭顯產(chǎn)品。另外，不清楚實(shí)際的應(yīng)用效果。