Varjo專利分享注視點(diǎn)渲染圖像相關(guān)的編解碼方法

　　Varjo是一家專注于研發(fā)人眼分辨率頭顯的VR硬件廠商。為了實(shí)現(xiàn)這個(gè)目標(biāo)，他們關(guān)注的重點(diǎn)技術(shù)是利用人眼特性的注視點(diǎn)渲染。作為說明，對于人類的視覺系統(tǒng)，小小的中央凹為視場中心提供了最清晰的視覺，而占比較大的外圍視場的視覺質(zhì)量則相對較低。所以，注視點(diǎn)渲染利用這一特性來減少頭顯外圍視覺的空間分辨率，從而減少每像素的計(jì)算。

　　對于這一點(diǎn)，Varjo的設(shè)備采用了一種特殊的設(shè)計(jì)：焦點(diǎn)顯示屏+外圍顯示屏。焦點(diǎn)顯示僅覆蓋視場中心約20度的區(qū)域，并具有更高的像素密度，而外圍顯示提供通過縮放像素填充的寬視場。然后，設(shè)備使用半透明鏡(即光束組合器)來組合這兩個(gè)顯示屏的圖像。最終結(jié)果是視場又寬，細(xì)節(jié)又高。

　　在名為“Display drivers, apparatuses and methods for improving image quality in foveated images”的專利申請中，這家公司就介紹了相關(guān)的注視點(diǎn)渲染：亦即第一圖像幀縮放填充，并用額外的像素?cái)?shù)據(jù)來提升第二圖像幀的質(zhì)量。

　　另外，在名為“Foveation-based image encoding and decoding”的專利申請中，Varjo介紹了與注視點(diǎn)渲染圖像相關(guān)的編解碼方法。

　　注視點(diǎn)渲染方法

　　概括來說，這一發(fā)明主要描述了包括顯示器、顯示驅(qū)動(dòng)器和配置為向顯示驅(qū)動(dòng)器發(fā)送輸入信號的處理器的顯示設(shè)備。其中，輸入信號的第一部分和第二部分分別包括與第一圖像幀相關(guān)的第一像素?cái)?shù)據(jù)和與第二圖像幀相關(guān)的第二像素?cái)?shù)據(jù)。輸入信號的第一部分同時(shí)包括與第二幀相關(guān)的額外像素?cái)?shù)據(jù)。

　　額外像素?cái)?shù)據(jù)與第二圖像幀相關(guān)，并提供與第二幀相關(guān)的附加信息。換句話說，用額外的像素?cái)?shù)據(jù)補(bǔ)充第二像素?cái)?shù)據(jù)，從而改善第二圖像幀的圖像質(zhì)量。所以，與第一圖像幀的像素相比，第二圖像幀的圖像將以更高的質(zhì)量顯示。

　　所以，顯示驅(qū)動(dòng)器配置為：基于顯示分辨率重新縮放第一像素?cái)?shù)據(jù)的像素;基于額外像素?cái)?shù)據(jù)更新第二像素?cái)?shù)據(jù)的像素;基于重新縮放的像素和更新的像素生成控制信號;使用控制信號驅(qū)動(dòng)顯示器以呈現(xiàn)視覺場景。

　　給定像素的重新縮放意味著根據(jù)顯示器的顯示分辨率而改變，例如增加或減少。例如，基于顯示器的顯示分辨率放大從第一像素?cái)?shù)據(jù)生成的像素。第一像素?cái)?shù)據(jù)的像素重新縮放，使得像素填充顯示器的整個(gè)顯示區(qū)域。在放大中，第一像素?cái)?shù)據(jù)的分辨率隨著單個(gè)像素用于生成多個(gè)像素而降低。

　　由于額外像素?cái)?shù)據(jù)提供用于改善第二圖像幀的圖像質(zhì)量的額外數(shù)據(jù)。通過添加與第二圖像的像素相關(guān)的額外像素?cái)?shù)據(jù)，第二圖像幀的每個(gè)像素可以獲得更多數(shù)據(jù)，即來自第二像素?cái)?shù)據(jù)的原始數(shù)據(jù)和來自額外像素?cái)?shù)據(jù)的額外數(shù)據(jù)。所以，這提高第二圖像幀的像素的質(zhì)量。

　　Varjo指出，與第一像素?cái)?shù)據(jù)的重新縮放像素的分辨率相比，第二像素的更新像素具有更高的分辨率，即更高程度的視覺細(xì)節(jié)。所以，視覺場景可以具有可變分辨率，使得分辨率在整個(gè)視覺場景中實(shí)現(xiàn)空間變化。

　　圖1示出了顯示設(shè)備100的架構(gòu)框圖。顯示設(shè)備100包括顯示器102、顯示器驅(qū)動(dòng)器104和處理器106。顯示驅(qū)動(dòng)器104連接到顯示器102，并且處理器106連接到顯示驅(qū)動(dòng)器104。

　　圖2A是輸入信號200的第一部分202和第二部分204的示例性圖示，而圖2B是構(gòu)成視覺場景的像素的示例性圖解。

　　在圖2A中，輸入信號200的第一部分202包括第一像素?cái)?shù)據(jù)(具有像素A、B、C、D、E、F、G和H)和額外像素?cái)?shù)據(jù)(描繪為Z1、Z2、Z3和Z4)，而輸入信號200第二部分204包括第二像素?cái)?shù)據(jù)(具有像素X1、X2、X3和X4)。

　　在圖2B中，第一像素?cái)?shù)據(jù)的像素A重新縮放，以獲得像素A1、A2、A3和A4;第一像素?cái)?shù)據(jù)的像素B重新縮放以獲得像素B1、B2、B3和B4;第一像素?cái)?shù)據(jù)的像素C重新縮放以獲得像素C1、C2、C3和C4……像素H重新縮放以獲得像素H1、H2、H3和H4。

　　另外，分別基于額外像素?cái)?shù)據(jù)Z1、Z2、Z3和Z4更新第二像素?cái)?shù)據(jù)的像素X1、X2、X3和X4。為了簡單起見，第二像素?cái)?shù)據(jù)的更新像素在圖2B中表示為(Z1，X1)、(Z2，X2)、(Z3，X3)和(Z4，X4)。在視覺場景中，第一像素?cái)?shù)據(jù)的重縮放像素A1-A4、B1-B4、C1-C4、D1-D4、E1-E4、F1-F4、G1-G4和H1-H4圍繞第二像素?cái)?shù)據(jù)的更新像素(Z1、X1)、(Z2、X2)、(Z3、X3)和(Z4、X4)。

　　參考圖3A和3B。圖3A示出了第二像素?cái)?shù)據(jù)中的相鄰像素的給定組300，而圖3B示出了如何更新第二像素的像素?cái)?shù)據(jù)。

　　在圖3A中，相鄰像素的給定組300包括四邊形排列(例如矩形)的四個(gè)像素P1、P2、P3和P4。在圖3B中，增加四個(gè)像素P1、P2、P3和P4中的每一個(gè)與給定組300的中心之間的距離，從而重新排列四個(gè)像素P2、P3、和P4，并且在給定組300中的中心處布置額外的像素P5。

　　顯示驅(qū)動(dòng)器(未示出)配置為從給定組300的相鄰像素和額外像素P5中確定顯示器(未示)的顯示區(qū)域(未顯示)的對應(yīng)區(qū)域302的像素值。

　　圖4示出了顯示器404的顯示區(qū)域402。與顯示器404的顯示區(qū)域402內(nèi)的區(qū)域406有關(guān)的信息包括在輸入信號中。所述信息可以由區(qū)域406的一個(gè)角的位置(描繪為(x，y))和以像素為單位的區(qū)域406的尺寸來定義。

　　顯示驅(qū)動(dòng)器(未示出)配置為以如下方式生成控制信號：第二像素?cái)?shù)據(jù)的更新像素顯示在顯示區(qū)域402內(nèi)的所述區(qū)域406處，而第一像素?cái)?shù)據(jù)的重新縮放像素顯示顯示在顯示區(qū)402內(nèi)的剩余區(qū)域408處。

　　圖5是顯示驅(qū)動(dòng)器502的架構(gòu)。顯示驅(qū)動(dòng)器502與處理器504和顯示器506連接。

　　圖6示出了所述注視點(diǎn)渲染的步驟。

　　在步驟602，顯示驅(qū)動(dòng)器接收輸入信號，其中輸入信號的至少第一部分和第二部分分別包括與第一圖像幀的一部分相關(guān)的第一像素?cái)?shù)據(jù)和與第二圖像幀相關(guān)的第二像素?cái)?shù)據(jù)。同時(shí)，輸入信號的第一部分包括與第二幀相關(guān)的額外像素?cái)?shù)據(jù)。

　　在步驟604，基于顯示器的顯示分辨率，在顯示器驅(qū)動(dòng)器處重新縮放第一像素?cái)?shù)據(jù)的像素。

　　在步驟606，基于額外的像素?cái)?shù)據(jù)在顯示驅(qū)動(dòng)器處更新第二像素?cái)?shù)據(jù)的像素。

　　在步驟608，基于第一像素?cái)?shù)據(jù)的重新縮放像素和第二像素?cái)?shù)據(jù)的更新像素，并在顯示驅(qū)動(dòng)器處生成控制信號。

　　在步驟610，使用控制信號驅(qū)動(dòng)顯示器以呈現(xiàn)視覺場景。其中當(dāng)顯示在顯示器的顯示區(qū)域上時(shí)，第一像素?cái)?shù)據(jù)的重新縮放的像素圍繞第二像素?cái)?shù)據(jù)的更新的像素。

　　相關(guān)專利：Varjo Patent | Display drivers, apparatuses and methods for improving image quality in foveated images

　　名為“Display drivers, apparatuses and methods for improving image quality in foveated images”的Varjo專利申請最初在2021年8月提交，并在日前由美國專利商標(biāo)局公布。

　　編解碼方法

　　除了介紹，Varjo同時(shí)在另一份相關(guān)專利中介紹了相關(guān)的編解碼方法。

　　Varjo指出，當(dāng)對平面XR圖像執(zhí)行基于極坐標(biāo)系的注視點(diǎn)編碼和解碼時(shí)，給定XR圖像在其注視相關(guān)區(qū)域中的分辨率最高，并且在遠(yuǎn)離注視相關(guān)區(qū)域時(shí)分辨率逐漸降低到最低。然而，這樣的平面XR圖像不能處理為具有足夠?qū)捯愿采w人眼視場。

　　另外，當(dāng)在對數(shù)極注視點(diǎn)坐標(biāo)系使用平面映射時(shí)，需要使用偏心投影矩陣作為所述坐標(biāo)系在注視位置的原點(diǎn)。結(jié)果是，XR圖像中的像素密度不是在所有方向均勻地改變，而是PPD曲線和密度曲線的乘積，導(dǎo)致在實(shí)現(xiàn)諸如重投影、濾波等處理技術(shù)時(shí)的各種不準(zhǔn)確。

　　傳統(tǒng)的圖像編碼器和解碼器在其提供這種注視點(diǎn)XR圖像的能力方面受到限制，并且經(jīng)常犧牲圖像質(zhì)量以執(zhí)行用于傳輸?shù)母叨葓D像下采樣。當(dāng)下采樣的XR圖像被上采樣并在XR設(shè)備呈現(xiàn)時(shí)，這種損失可感知為變形和不正確排列的像素，從而減損了用戶在XR環(huán)境中的沉浸感。

　　對于這一點(diǎn)，Varjo提出的編碼方法包括：創(chuàng)建XR環(huán)境的視覺場景在虛擬3D幾何形狀的內(nèi)表面上的投影，從而生成曲面圖像。其中，所述虛擬3D幾何形狀在至少一個(gè)維度上彎曲，而虛擬3D幾何形狀的中心對應(yīng)于用戶眼睛在所述XR環(huán)境中的位置 將所述曲面圖像劃分為輸入部分和多個(gè)輸入環(huán) 將所述曲面圖像的所述輸入部分和所述多個(gè)輸入環(huán)分別編碼為第一平面圖像和第二平面圖像 將曲面圖像的輸入部分存儲(chǔ)到第一平面圖像中 將所述曲面圖像的所述多個(gè)輸入環(huán)打包到所述第二平面圖像中，所述第二平面圖像具有多個(gè)行，并且所述曲面圖像的給定輸入環(huán)打包到所二平面圖像的對應(yīng)行中 將所述第一平面圖像、所述第二平面圖像、以及指示所述輸入部分的尺寸和所述多個(gè)輸入環(huán)的尺寸的信息傳送到顯示設(shè)備

　　然后是解碼方法，Varjo提出的解碼方法包括： 獲得第一平面圖像、第二平面圖像和指示輸出部分的尺寸和多個(gè)輸出環(huán)的尺寸的信息 基于輸出部分的大小從第一平面圖像中提取輸出部分 基于所述多個(gè)輸出環(huán)的尺寸，從所述第二平面圖像的多行中拆包所述多輸出環(huán) 組合所述輸出部分和所述多個(gè)輸出環(huán)以生成曲面圖像。其中，所述曲面圖像表示XR環(huán)境的視覺場景在虛擬3D幾何形狀的內(nèi)表面上的投影。所述虛擬3D幾何形狀在至少一個(gè)維度上彎曲，二所述虛擬3D幾何形狀的中心對應(yīng)于所述XR環(huán)境中用戶眼睛的位置 從所述曲面圖像生成用于在所述顯示設(shè)備處顯示的平面圖像 對于所述平面圖像中的給定像素，確定所述曲面圖像中的對應(yīng)位置 采用曲面圖像中相應(yīng)位置的像素樣本來生成平面圖像中給定像素的像素值。

　　圖2A示出了虛擬3D幾何形狀200和使用虛擬3D幾何形狀生成的曲面圖像202。

　　虛擬3D幾何形狀200示為球體，并通過創(chuàng)建XR環(huán)境的視覺場景在虛擬3D幾何形狀200的內(nèi)表面上的投影來生成曲面圖像202。視覺場景從假想3D幾何形狀200的中心204投影。虛擬3D幾何形狀200的中心204對應(yīng)于用戶眼睛(未示出)的位置。

　　參考圖2B，虛擬3D幾何形狀206示為圓柱體，通過創(chuàng)建XR的視覺場景在虛擬3D幾何形狀206的內(nèi)表面上的投影來生成曲面圖像208。

　　圖2C示出了根據(jù)圖2A的假想3D幾何形狀200的圖像投影表面210的俯視圖。

　　從假想3D幾何形狀200的中心204沿著天頂方向(未示出)的中心區(qū)域212幾乎平坦，并且與中心區(qū)域212相對應(yīng)的視覺場景的投影的一部分是曲面圖像202的輸入部分。

　　與區(qū)域214相對應(yīng)的視覺場景的投影的一部分(形成圍繞中心區(qū)域212的邊緣)是曲面圖像202的第一輸入環(huán)，與區(qū)域216相對應(yīng)的可視場景的投影(形成圍繞區(qū)域214的邊緣)的一部分是曲面圖像202的第二輸入環(huán)……。

　　參考圖3A、3B和3C。曲面圖像300劃分為輸入部分302和多個(gè)輸入環(huán)304、306和308。

　　在圖3A中，曲線圖像300示出為分為輸入部分302和與輸入部分302同心的多個(gè)輸入環(huán)304、306和308。僅為了簡單起見，輸入部分302和多個(gè)輸入環(huán)304、306和308成形為圓形。每個(gè)輸入環(huán)對稱，并且在其所有部分具有相同的厚度。

　　多個(gè)輸入環(huán)304、306和308的厚度隨著從曲面圖像300的中心朝向外圍而增加。

　　在圖3B中，曲面圖像300示出為分為輸入部分302和多個(gè)輸入環(huán)304、306和308。輸入環(huán)308關(guān)于輸入部分302以及輸入環(huán)304和306不對稱，使得輸入環(huán)308的厚度在其不同部分中不同。

　　在圖3C中，曲面圖像300示為被劃分為輸入部分302和形狀為矩形的多個(gè)輸入環(huán)304、306和308。多個(gè)輸入環(huán)304、306和308被示出為與輸入部分302同心。

　　圖4A示出了第一平面圖像400，而圖4B示出了從圖3A-3C中的任意一個(gè)的曲面圖像300生成的第二平面圖像402。

　　在圖4A中，第一平面圖像400示出為存儲(chǔ)曲面圖像的輸入部分302。第一平面圖像400的大小取決于輸入部分302的大小。第一平面圖像400示為具有與輸入部分302的給定形狀相對應(yīng)的正方形形狀的平面圖像。

　　在圖4B中，第二平面圖像402示出為封裝曲面圖像300的多個(gè)輸入環(huán)304、306和308。第二平面圖像402具有多個(gè)行404(分別描繪為行404A、404B和404C)。多個(gè)行404具有相同的高度。值得注意的是，輸入環(huán)304填充到行404A中，輸入環(huán)306填充到列404B中，而輸入環(huán)308填充到排404C中。

　　參考圖5A、5B、5C和5D，像素樣本500布置在虛擬3D幾何形狀(未示出)的內(nèi)表面上。

　　在圖5A中，像素樣本500根據(jù)同心圓形圖案布置在假想3D幾何形狀的內(nèi)表面上。像素樣本500的密度被示出為在從同心圓形圖案的中心移動(dòng)到同心圓形圖案外圍時(shí)減小。

　　在圖5B中，像素樣本500根據(jù)具有偏移的同心圓形圖案布置在假想3D幾何形狀的內(nèi)表面上。像素樣本500示出為布置在同心圓中。

　　在圖5C中，像素樣本500根據(jù)螺旋圖案布置在虛擬3D幾何形狀的內(nèi)表面上。像素樣本500的密度在螺旋圖案的中心處最大。

　　在圖5D中，像素樣本500根據(jù)隨機(jī)圖案布置在虛擬3D幾何形狀的內(nèi)表面上。像素樣本500示出為隨機(jī)排列，不遵循任何明顯的形狀或圖案。然而，像素樣本500的密度顯示為在從隨機(jī)圖案的中心向隨機(jī)圖案的外圍移動(dòng)時(shí)減小。

　　名為“Foveation-based image encoding and decoding”的Varjo專利申請最初在 2021年8月提交，并在日前由美國專利商標(biāo)局公布。