蘋果專利探索為AR/VR設(shè)備提供靜態(tài)注視點渲染光學(xué)系統(tǒng)

　　在AR/VR領(lǐng)域，注視點追蹤是一項十分有意義的技術(shù)。例如，由于人眼視場的自然屬性，設(shè)備可以利用注視點追蹤來優(yōu)化性能，只集中渲染注視點區(qū)域，并降低外圍視場的視覺質(zhì)量。這項技術(shù)名為注視點渲染。

　　對于一直在幕后研發(fā)AR/VR產(chǎn)品的蘋果而言，他們早已在探索基于注視點追蹤的應(yīng)用。如果你有關(guān)注映維網(wǎng)的專利分享，這家公司實際上已有多份相關(guān)的發(fā)明。

　　日前，美國專利商標(biāo)局又公布了兩份與注視點渲染相關(guān)的蘋果專利申請。具體來說，名為“Optical systems with lens-based static foveation”和“Optical systems with low resolution peripheral displays”的發(fā)明主要介紹了一種靜態(tài)注視點渲染光學(xué)系統(tǒng)。

　　注視點渲染一般可分為靜態(tài)和動態(tài)。對于動態(tài)注視點渲染，顯示器將動態(tài)地根據(jù)用戶注視點的變化而改變不同區(qū)域的分辨率。對于靜態(tài)注視點渲染，顯示器則固定地為各個區(qū)域分配不同的分辨率。

　　另外，動態(tài)注視點渲染要求對眼睛進(jìn)行動態(tài)追蹤;而靜態(tài)注視點渲染則不一定需要眼動追蹤。

　　圖1是一個示例性近眼顯示器系統(tǒng)10。其中，支撐結(jié)構(gòu)20可以是一副眼鏡或頭盔的形狀，又或者是其他配置，并配置成幫助將近眼顯示器14固定在用戶頭部或眼睛附近。近眼顯示器14可包括一個或多個顯示模塊(例如顯示模塊14A)和一個或多個光學(xué)系統(tǒng)(例如光學(xué)系統(tǒng)14B)。顯示模塊14A可以安裝在諸如支撐結(jié)構(gòu)20的支撐結(jié)構(gòu)中。每個顯示模塊14A可以發(fā)射光22(圖像光)。

　　可使用控制電路16控制系統(tǒng)10的操作�？刂齐娐�16可以包括用于控制系統(tǒng)10的操作的存儲和處理電路。軟件代碼(指令)可存儲在電路16中的存儲器，并由電路16中的處理電路運行，以實現(xiàn)系統(tǒng)10的操作，例如數(shù)據(jù)收集操作、涉及使用控制信號調(diào)整組件的操作、產(chǎn)生要向用戶顯示的圖像內(nèi)容的圖像呈現(xiàn)操作等等等。

　　顯示模塊14A可包括反射顯示器，發(fā)射顯示器，或其他類型的顯示器。顯示模塊14A中的光源可以包括ULED、OLED、LED、激光器、它們的組合或任何其他發(fā)光組件。

　　光學(xué)系統(tǒng)14B可形成透鏡。可以存在與用戶左眼和右眼相關(guān)聯(lián)的兩個光學(xué)系統(tǒng)14B，例如用于形成左透鏡和右透鏡。單個顯示器14可產(chǎn)生用于雙眼的圖像，或者一對顯示器14可用于顯示圖像。在具有多個顯示器的配置中，可以選擇透鏡的焦距和位置，以便用戶看不到顯示器之間存在的任何間隙。例如，左眼顯示器和右眼顯示器的圖像可以無縫重疊或合并。

　　圖2是上述顯示器14的俯視圖。如圖2所示，近眼顯示器14可以包括一個或多個顯示模塊，例如顯示模塊14A和光學(xué)系統(tǒng)14B。光學(xué)系統(tǒng)14B可以包括光學(xué)元件，例如一個或多個波導(dǎo)26。

　　光學(xué)系統(tǒng)14B可包括準(zhǔn)直光學(xué)器件，如準(zhǔn)直透鏡34。透鏡34可包括一個或多個透鏡元件，其有助于將圖像光22引導(dǎo)至波導(dǎo)26。

　　如圖2所示，顯示模塊14A可以生成與要顯示到視窗24的圖像內(nèi)容相關(guān)聯(lián)的光22�？墒褂弥T如準(zhǔn)直透鏡34的透鏡準(zhǔn)直光22。光學(xué)系統(tǒng)14B可用于將從顯示模塊14A輸出的光22呈現(xiàn)給視窗24。

　　通常，增加顯示模塊14A的物理尺寸將增加使用光22顯示的圖像的最大分辨率。但在緊湊型系統(tǒng)(如圖1的系統(tǒng)10)中，這通常不可取。所以，為了能夠提供高分辨率圖像，以及節(jié)省系統(tǒng)10中的處理和光學(xué)資源，但同時不進(jìn)一步增加顯示模塊14A的尺寸，蘋果認(rèn)為可以由透鏡34可執(zhí)行靜態(tài)注視點渲染操作。

　　在一個實施例中，透鏡34可以將從顯示模塊14A接收的圖像光轉(zhuǎn)換為靜態(tài)注視點圖像，然后將其傳送到視窗。例如，通過波導(dǎo)26傳送到視窗24的光22可以包括靜態(tài)注視點圖像。

　　靜態(tài)注視點圖像可包括高分辨率區(qū)域和低分辨率區(qū)域。透鏡34將非均勻放大率作為角度函數(shù)在靜態(tài)注視點圖像中創(chuàng)建高分辨率和低分辨率區(qū)域。

　　圖4示出了可由透鏡34基于圖像光22產(chǎn)生的靜態(tài)注視點圖像。光22可包括圖像，圖像可以包括像素。透鏡34可以放大光22，從而放大光22中的圖像。其中，放大率(折光率)隨透鏡34視場內(nèi)角度的函數(shù)而變化。

　　如圖4所示，靜態(tài)注視點圖像44可以包括區(qū)域48中的低分辨率像素50和區(qū)域46中的高分辨率像素50。區(qū)域46例如可以是位于圖像中心并因而位于透鏡34視場中心的中心區(qū)域。區(qū)域48則可以是位于視場外圍的外圍區(qū)域。

　　靜態(tài)注視點圖像44中的每個像素50可對應(yīng)于來自透鏡34在光22中接收的圖像的各個像素。然而，透鏡34可在視場內(nèi)(例如在對應(yīng)于區(qū)域48的像素位置)以相對較高的角度顯示較高的放大率，同時在視場中心外圍(例如在區(qū)域46內(nèi)的像素位置)顯示較低的放大率。

　　這可以致使區(qū)域48中的像素50呈現(xiàn)相對較大的尺寸(間距)，而區(qū)域46中的像素呈現(xiàn)相對較小的尺寸。所以，靜態(tài)注視點圖像44將配置為在區(qū)域46內(nèi)展示相對高的分辨率(相對較高的像素密度)和在區(qū)域48內(nèi)展示相對低的分辨率(相對低的像素密度)。

　　因為靜態(tài)注視點圖像44在中心區(qū)域46內(nèi)的分辨率高于外圍區(qū)域48內(nèi)的分辨率，用戶可以將靜態(tài)注視點圖像44感知為高分辨率圖像，這是因為因為用戶的眼睛對中心區(qū)域46內(nèi)的高分辨率敏感，并且對外圍區(qū)域48內(nèi)的低分辨率較不敏感。

　　通過這種方式，在視窗24顯示的圖像可以有效地顯示為高分辨率圖像，從而無需增加顯示模塊14A的尺寸或系統(tǒng)10的處理和光學(xué)資源。例如，注視點可由透鏡34靜態(tài)執(zhí)行，不會對系統(tǒng)10中的其他組件施加任何增加的負(fù)擔(dān)。另外，圖4的示例僅為說明性，區(qū)域46和48可以具有任何期望的形狀和/或尺寸。

　　圖5的曲線52將像素密度繪制為透鏡34視場內(nèi)靜態(tài)注視點圖像44角度的函數(shù)。圖5的縱軸以每度像素(PPD)繪制像素密度。

　　如曲線52所示，靜態(tài)注視點圖像44在視場中心(例如在圖像中心和透鏡34的光軸處)可能具有相對較高(例如峰值)的像素密度D2。這可對應(yīng)于圖4的區(qū)域46內(nèi)的靜態(tài)注視點圖像44的相對高分辨率。靜態(tài)注視點圖像44可以在離開視場中心相對較高的角度(例如離開光軸并且靠近視場外圍)處具有減小的像素密度。

　　圖6則是透鏡34的放大率如何在視場內(nèi)隨角度變化的曲線圖，以產(chǎn)生圖4的靜態(tài)注視點圖像44和圖5的曲線52。如圖6所示，曲線54將透鏡34的放大率繪制為角度的函數(shù)。如曲線54所示，透鏡34可在視場中心顯示相對低的放大率M1。如果需要，放大倍數(shù)M1可以為零(例如無放大倍數(shù))。這個低放大率可允許圖4的區(qū)域46內(nèi)的像素50具有相對較高的像素密度，從而具有相對較高的分辨率。

　　透鏡34可在遠(yuǎn)離視場中心(例如，離開光軸且靠近視場外圍)的相對高角度處顯示相對高(的放大率M2。這個高放大率可以增加圖4的區(qū)域48內(nèi)的每個像素50的尺寸，從而使得區(qū)域48內(nèi)的像素50具有相對低的像素密度，從而具有相對低的分辨率。

　　名為“Optical systems with lens-based static foveation”和“Optical systems with low resolution peripheral displays”的蘋果專利申請均在2021年9月提交，并在日前由美國專利商標(biāo)局公布。