蘋果專利探索為AR/VR設(shè)備提供靜態(tài)注視點(diǎn)渲染光學(xué)系統(tǒng)

　　在AR/VR領(lǐng)域，注視點(diǎn)追蹤是一項(xiàng)十分有意義的技術(shù)。例如，由于人眼視場(chǎng)的自然屬性，設(shè)備可以利用注視點(diǎn)追蹤來(lái)優(yōu)化性能，只集中渲染注視點(diǎn)區(qū)域，并降低外圍視場(chǎng)的視覺(jué)質(zhì)量。這項(xiàng)技術(shù)名為注視點(diǎn)渲染。

　　對(duì)于一直在幕后研發(fā)AR/VR產(chǎn)品的蘋果而言，他們?cè)缫言谔剿骰�于注視點(diǎn)追蹤的應(yīng)用。如果你有關(guān)注映維網(wǎng)的專利分享，這家公司實(shí)際上已有多份相關(guān)的發(fā)明。

　　日前，美國(guó)專利商標(biāo)局又公布了兩份與注視點(diǎn)渲染相關(guān)的蘋果專利申請(qǐng)。具體來(lái)說(shuō)，名為“Optical systems with lens-based static foveation”和“Optical systems with low resolution peripheral displays”的發(fā)明主要介紹了一種靜態(tài)注視點(diǎn)渲染光學(xué)系統(tǒng)。

　　注視點(diǎn)渲染一般可分為靜態(tài)和動(dòng)態(tài)。對(duì)于動(dòng)態(tài)注視點(diǎn)渲染，顯示器將動(dòng)態(tài)地根據(jù)用戶注視點(diǎn)的變化而改變不同區(qū)域的分辨率。對(duì)于靜態(tài)注視點(diǎn)渲染，顯示器則固定地為各個(gè)區(qū)域分配不同的分辨率。

　　另外，動(dòng)態(tài)注視點(diǎn)渲染要求對(duì)眼睛進(jìn)行動(dòng)態(tài)追蹤;而靜態(tài)注視點(diǎn)渲染則不一定需要眼動(dòng)追蹤。

　　圖1是一個(gè)示例性近眼顯示器系統(tǒng)10。其中，支撐結(jié)構(gòu)20可以是一副眼鏡或頭盔的形狀，又或者是其他配置，并配置成幫助將近眼顯示器14固定在用戶頭部或眼睛附近。近眼顯示器14可包括一個(gè)或多個(gè)顯示模塊(例如顯示模塊14A)和一個(gè)或多個(gè)光學(xué)系統(tǒng)(例如光學(xué)系統(tǒng)14B)。顯示模塊14A可以安裝在諸如支撐結(jié)構(gòu)20的支撐結(jié)構(gòu)中。每個(gè)顯示模塊14A可以發(fā)射光22(圖像光)。

　　可使用控制電路16控制系統(tǒng)10的操作�？刂齐娐�16可以包括用于控制系統(tǒng)10的操作的存儲(chǔ)和處理電路。軟件代碼(指令)可存儲(chǔ)在電路16中的存儲(chǔ)器，并由電路16中的處理電路運(yùn)行，以實(shí)現(xiàn)系統(tǒng)10的操作，例如數(shù)據(jù)收集操作、涉及使用控制信號(hào)調(diào)整組件的操作、產(chǎn)生要向用戶顯示的圖像內(nèi)容的圖像呈現(xiàn)操作等等等。

　　顯示模塊14A可包括反射顯示器，發(fā)射顯示器，或其他類型的顯示器。顯示模塊14A中的光源可以包括ULED、OLED、LED、激光器、它們的組合或任何其他發(fā)光組件。

　　光學(xué)系統(tǒng)14B可形成透鏡�？梢源嬖谂c用戶左眼和右眼相關(guān)聯(lián)的兩個(gè)光學(xué)系統(tǒng)14B，例如用于形成左透鏡和右透鏡。單個(gè)顯示器14可產(chǎn)生用于雙眼的圖像，或者一對(duì)顯示器14可用于顯示圖像。在具有多個(gè)顯示器的配置中，可以選擇透鏡的焦距和位置，以便用戶看不到顯示器之間存在的任何間隙。例如，左眼顯示器和右眼顯示器的圖像可以無(wú)縫重疊或合并。

　　圖2是上述顯示器14的俯視圖。如圖2所示，近眼顯示器14可以包括一個(gè)或多個(gè)顯示模塊，例如顯示模塊14A和光學(xué)系統(tǒng)14B。光學(xué)系統(tǒng)14B可以包括光學(xué)元件，例如一個(gè)或多個(gè)波導(dǎo)26。

　　光學(xué)系統(tǒng)14B可包括準(zhǔn)直光學(xué)器件，如準(zhǔn)直透鏡34。透鏡34可包括一個(gè)或多個(gè)透鏡元件，其有助于將圖像光22引導(dǎo)至波導(dǎo)26。

　　如圖2所示，顯示模塊14A可以生成與要顯示到視窗24的圖像內(nèi)容相關(guān)聯(lián)的光22�？墒褂弥T如準(zhǔn)直透鏡34的透鏡準(zhǔn)直光22。光學(xué)系統(tǒng)14B可用于將從顯示模塊14A輸出的光22呈現(xiàn)給視窗24。

　　通常，增加顯示模塊14A的物理尺寸將增加使用光22顯示的圖像的最大分辨率。但在緊湊型系統(tǒng)(如圖1的系統(tǒng)10)中，這通常不可取。所以，為了能夠提供高分辨率圖像，以及節(jié)省系統(tǒng)10中的處理和光學(xué)資源，但同時(shí)不進(jìn)一步增加顯示模塊14A的尺寸，蘋果認(rèn)為可以由透鏡34可執(zhí)行靜態(tài)注視點(diǎn)渲染操作。

　　在一個(gè)實(shí)施例中，透鏡34可以將從顯示模塊14A接收的圖像光轉(zhuǎn)換為靜態(tài)注視點(diǎn)圖像，然后將其傳送到視窗。例如，通過(guò)波導(dǎo)26傳送到視窗24的光22可以包括靜態(tài)注視點(diǎn)圖像。

　　靜態(tài)注視點(diǎn)圖像可包括高分辨率區(qū)域和低分辨率區(qū)域。透鏡34將非均勻放大率作為角度函數(shù)在靜態(tài)注視點(diǎn)圖像中創(chuàng)建高分辨率和低分辨率區(qū)域。

　　圖4示出了可由透鏡34基于圖像光22產(chǎn)生的靜態(tài)注視點(diǎn)圖像。光22可包括圖像，圖像可以包括像素。透鏡34可以放大光22，從而放大光22中的圖像。其中，放大率(折光率)隨透鏡34視場(chǎng)內(nèi)角度的函數(shù)而變化。

　　如圖4所示，靜態(tài)注視點(diǎn)圖像44可以包括區(qū)域48中的低分辨率像素50和區(qū)域46中的高分辨率像素50。區(qū)域46例如可以是位于圖像中心并因而位于透鏡34視場(chǎng)中心的中心區(qū)域。區(qū)域48則可以是位于視場(chǎng)外圍的外圍區(qū)域。

　　靜態(tài)注視點(diǎn)圖像44中的每個(gè)像素50可對(duì)應(yīng)于來(lái)自透鏡34在光22中接收的圖像的各個(gè)像素。然而，透鏡34可在視場(chǎng)內(nèi)(例如在對(duì)應(yīng)于區(qū)域48的像素位置)以相對(duì)較高的角度顯示較高的放大率，同時(shí)在視場(chǎng)中心外圍(例如在區(qū)域46內(nèi)的像素位置)顯示較低的放大率。

　　這可以致使區(qū)域48中的像素50呈現(xiàn)相對(duì)較大的尺寸(間距)，而區(qū)域46中的像素呈現(xiàn)相對(duì)較小的尺寸。所以，靜態(tài)注視點(diǎn)圖像44將配置為在區(qū)域46內(nèi)展示相對(duì)高的分辨率(相對(duì)較高的像素密度)和在區(qū)域48內(nèi)展示相對(duì)低的分辨率(相對(duì)低的像素密度)。

　　因?yàn)殪o態(tài)注視點(diǎn)圖像44在中心區(qū)域46內(nèi)的分辨率高于外圍區(qū)域48內(nèi)的分辨率，用戶可以將靜態(tài)注視點(diǎn)圖像44感知為高分辨率圖像，這是因?yàn)橐驗(yàn)橛脩舻难劬��?duì)中心區(qū)域46內(nèi)的高分辨率敏感，并且對(duì)外圍區(qū)域48內(nèi)的低分辨率較不敏感。

　　通過(guò)這種方式，在視窗24顯示的圖像可以有效地顯示為高分辨率圖像，從而無(wú)需增加顯示模塊14A的尺寸或系統(tǒng)10的處理和光學(xué)資源。例如，注視點(diǎn)可由透鏡34靜態(tài)執(zhí)行，不會(huì)對(duì)系統(tǒng)10中的其他組件施加任何增加的負(fù)擔(dān)。另外，圖4的示例僅為說(shuō)明性，區(qū)域46和48可以具有任何期望的形狀和/或尺寸。

　　圖5的曲線52將像素密度繪制為透鏡34視場(chǎng)內(nèi)靜態(tài)注視點(diǎn)圖像44角度的函數(shù)。圖5的縱軸以每度像素(PPD)繪制像素密度。

　　如曲線52所示，靜態(tài)注視點(diǎn)圖像44在視場(chǎng)中心(例如在圖像中心和透鏡34的光軸處)可能具有相對(duì)較高(例如峰值)的像素密度D2。這可對(duì)應(yīng)于圖4的區(qū)域46內(nèi)的靜態(tài)注視點(diǎn)圖像44的相對(duì)高分辨率。靜態(tài)注視點(diǎn)圖像44可以在離開(kāi)視場(chǎng)中心相對(duì)較高的角度(例如離開(kāi)光軸并且靠近視場(chǎng)外圍)處具有減小的像素密度。

　　圖6則是透鏡34的放大率如何在視場(chǎng)內(nèi)隨角度變化的曲線圖，以產(chǎn)生圖4的靜態(tài)注視點(diǎn)圖像44和圖5的曲線52。如圖6所示，曲線54將透鏡34的放大率繪制為角度的函數(shù)。如曲線54所示，透鏡34可在視場(chǎng)中心顯示相對(duì)低的放大率M1。如果需要，放大倍數(shù)M1可以為零(例如無(wú)放大倍數(shù))。這個(gè)低放大率可允許圖4的區(qū)域46內(nèi)的像素50具有相對(duì)較高的像素密度，從而具有相對(duì)較高的分辨率。

　　透鏡34可在遠(yuǎn)離視場(chǎng)中心(例如，離開(kāi)光軸且靠近視場(chǎng)外圍)的相對(duì)高角度處顯示相對(duì)高(的放大率M2。這個(gè)高放大率可以增加圖4的區(qū)域48內(nèi)的每個(gè)像素50的尺寸，從而使得區(qū)域48內(nèi)的像素50具有相對(duì)低的像素密度，從而具有相對(duì)低的分辨率。

　　名為“Optical systems with lens-based static foveation”和“Optical systems with low resolution peripheral displays”的蘋果專利申請(qǐng)均在2021年9月提交，并在日前由美國(guó)專利商標(biāo)局公布。