為降低HoloLens成本、功耗、尺寸，微軟專利提出低分辨率深度攝像頭解決方案

　　對于XR頭顯，基于立體圖像對計算深度信息基于立體圖像對存在挑戰(zhàn)。例如，用于生成透視圖像的立體圖像通常使用高分辨率立體攝像頭捕獲，但高分辨率立體攝像頭價格昂貴，同時會增加設備體積、重量和電池消耗。另外，使用高分辨率立體圖像對計算深度信息的計算成本高，并會導致傳遞體驗的延遲。

　　所以在名為“Systems and methods for low compute high-resolution depth map generation using low-resolution cameras”的專利申請中，微軟就提出中了一種使用低分辨率攝像頭，并以低計算成本計算高邊分辨率的深度映射像。

　　在一個實施例中，專利描述的系統(tǒng)配置為獲得立體圖像對，并通過對立體圖像對執(zhí)行立體匹配來生成深度映射。系統(tǒng)同時配置為獲得包括環(huán)境的第一紋理信息的第一圖像，第一圖像具有比立體圖像對的圖像的圖像分辨率高的第一圖像分辨率。

　　系統(tǒng)同時配置為通過重新投影第一圖像以對應于與深度映射相關聯(lián)的圖像捕獲視角來生成重新投影的第一圖像。第一圖像的重投影基于來自深度映射的深度信息，并且包括用于環(huán)境的重投影的第一紋理信息。系統(tǒng)配置為基于深度映射生成上采樣的深度映射。

　　圖4示出了一個示例頭戴式顯示器400。頭顯包括一個高分辨率低照度攝像頭402、一個高分辨率熱像儀404和兩個低分辨率熱像儀406A和406B。

　　低光攝像頭可以包括圖像傳感像素，其配置為以足夠高的幀速率檢測低數(shù)量的電子，從而促進在包括低環(huán)境光的環(huán)境中捕獲圖像。熱像儀可以配置為檢測紅外光以提供來自捕獲環(huán)境內(nèi)對象的熱輻射的代表圖像。

　　高分辨率低照度攝像頭402和/或高分辨率熱像儀404捕獲的圖像的圖像分辨率高于低分辨率熱像儀406A和406B捕獲的圖像的圖像分辨率。

　　低分辨率熱像儀406A和406B的圖像分辨率低于高分辨率低光熱像儀402和/或高分辨率熱像儀的圖像分辨率。

　　所述低分辨率熱像儀406A和406B構成一對立體熱像儀，所述立體熱像儀406可配置為捕獲在圖像分辨率、長寬比等方面基本相同的環(huán)境的暫時同步熱像。盡管低分辨率熱像儀406A和406B無法捕獲足夠保真度的圖像以提供理想的用戶體驗，但低分辨率熱像儀可以促進低計算深度映射的計算，并且可以避免實現(xiàn)高分辨率攝像頭的立體對。

　　低分辨率熱像儀406A和406B通過檢測捕獲場景內(nèi)的熱輻射來工作，而且熱像儀可以在沒有光線和/或在低能見度環(huán)境工作。所以，立體熱像儀406可以在各種環(huán)境中捕獲可用于獲取深度信息的低分辨率圖像，這對于在各種環(huán)境中使用頭顯400的用戶可能是有益的。

　　另外，系統(tǒng)可以僅包括單個高分辨率攝像頭或兩個以上高分辨率攝像頭，并且高分辨率攝像頭可以具有與低分辨率攝像頭的立體對相同或不同的攝像頭模式。

　　如圖5A所示，頭顯可以使用其攝像頭捕獲環(huán)境內(nèi)對象的圖像。圖5A示出高分辨率熱像508、高分辨率低光像512和低分辨率熱像516A和516B。所述低分辨率熱圖像516A和516B形成圖像516的立體對，并可在其上執(zhí)行深度計算。

　　所述高分辨率熱圖像508捕獲描述所述對象506在捕獲時的熱輻射特性的紋理信息510。所述高分辨率弱光圖像512捕獲描述可在可見光譜中觀測到的對象506的不同紋理信息514。紋理信息510和/或514可以提供用于生成對象506的透視視圖的基礎

　　圖5A同時顯示了低分辨率熱圖像516A和516B與高分辨率熱圖像508、高分辨率弱光圖像512之間存在空間差異。

　　圖5A中所示的至少一些圖像可以由系統(tǒng)捕獲，以方便使用低分辨率圖像生成低計算高分辨率深度映射。為了便于使用低分辨率圖像生成低計算高分辨率深度映射，系統(tǒng)可以使用低分辨率熱圖像516A和516B生成低分辨率深度映射。

　　圖5B示出作為深度處理518的輸入提供的低分辨率熱圖像516A和516B，用于生成在低分辨率熱圖像516A和516B中捕獲的對象的深度信息。

　　用于計算深度信息的深度處理518可以以各種方式執(zhí)行，包括立體匹配。為了進行立體匹配，獲得一對圖像。然后執(zhí)行校正過程，從而表示環(huán)境中共同3D點的圖像對的不同圖像中的相應像素沿掃描線對齊。

　　對于校正后的圖像，不同圖像中對應像素的坐標僅在一個維度上不同。然后，立體匹配算法可以沿著掃描線搜索以識別彼此對應的不同圖像中的像素并識別相應像素的視差值。視差值可以基于描述環(huán)境的相同部分的不同圖像中相應像素之間像素位置的差異�？梢愿鶕�(jù)每個像素的視差值確定每個像素的深度，從而提供一個深度映射。

　　圖5B示出深度處理518作為深度映射520的輸出，其中包括深度信息522。如上所述，深度映射520可以描述在立體圖像對中捕獲的物體與捕獲立體圖像對的一個或多個攝像頭之間的每像素距離。

　　圖5B示出了低分辨率熱圖像516A的幾何深度映射520。換句話說，在低分辨率熱圖像516A和深度映射520中表示的物體在空間上對齊。如上所述，系統(tǒng)可以在圖像516的立體對的兩個圖像的幾何形狀中生成深度映射，并且可以執(zhí)行發(fā)明所述的任何處理，而不損失一般性以生成多個視差校正視圖。

　　在低分辨率圖像上執(zhí)行深度處理518比在高分辨率圖像上執(zhí)行深度處理的計算成本要低得多，并且利用低分辨率圖像捕獲用于深度處理的立體圖像對允許頭顯400省略立體高分辨率攝像頭對。

　　但深度映射520與高分辨率熱圖像508和高分辨率低光圖像512之間存在空間差異。另外，深度映射520具有與低分辨率熱圖像516A和516B相似的圖像分辨率，所以具有比高分辨率熱圖像508和/或高分辨率低光圖像512更低的圖像分辨率。

　　空間和圖像分辨率的差異為使用深度映射520中的深度信息522和紋理信息510或514來生成視差校正視圖帶來了問題。然而，所述障礙可以通過使用重投影操作和上采樣操作來克服，如下所述。

　　圖6A和6B說明了重新投影高分辨率圖像以對應于低分辨率深度映射的捕獲視角的概念表示，并說明如何將來自高分辨率熱圖像的紋理信息510重新投影為與來自深度映射520的深度信息522在空間上對齊。

　　圖6A示出具有從主點602通過深度映射520的深度信息522的各種像素延伸的未投影射線604的深度映射520。主點602對應于低分辨率熱像儀406B的光學中心或攝像頭中心，而低分辨率熱像儀406B捕獲低分辨率熱像儀516B以形成深度映射520。

　　射線604表示為從主點602通過深度映射520中表示的深度信息522的像素投射，因為所述深度信息像素位于位于主點602周圍的前圖像平面上。射線604通過深度信息522的相應像素擴展到對應于深度信息522的相應像素的深度值的距離。射線604提供描繪在深度映射520中捕獲的對象506的3D表示606的多個3D點或坐標。

　　所述對象506的3D表示606的每個3D點或坐標可與所述深度信息522的特定像素相關聯(lián)，所述深度信息522通過所述相應的射線604投射以提供所述3D點或坐標。

　　這樣，如果高分辨率熱圖像508的紋理信息510的像素可以與3D表示606的3D點或坐標相關聯(lián)，則紋理信息510的像素可以與深度映射520的深度信息522相關聯(lián)和/或對齊。

　　圖6B進一步示出高分辨率熱圖像508，其射線610從高分辨率熱圖像508的主點608延伸至高分辨率熱圖像508的紋理信息510的各種像素。主點608對應于高分辨率熱像儀404的光學中心或攝像頭中心，而高分辨率熱像儀404捕獲高分辨率熱像儀508。

　　所述射線610表示為從所述主點608通過紋理信息510的像素投射，因為所述紋理信息510的像素位于位于所述主點608周圍的前圖像平面上。至少一定的射線610通過紋理信息510的相應像素延伸，直到射線610與3D表示606的3D點相交。

　　與3D表示606的特定3D點相交的射線610所通過的紋理信息510的每個像素可與射線604所通過的深度映射520的深度信息522的像素相關聯(lián)，以生成3D表示606的特定3D點。

　　通過使用3D表示606的3D點作為中介的這種關聯(lián)，紋理信息510的像素可以與深度映射520的深度信息522的像素相關聯(lián)，即使兩者是從不同的攝像頭視角捕獲。

　　換句話說，系統(tǒng)可以通過將紋理信息非投影到3D表示606上并投影到深度映射520上來重新投影紋理信息510，以對應于與深度映射520相關聯(lián)的透視圖(。

　　圖7描述了作為重投影702的輸入提供的高分辨率熱圖像508，重投影702至少部分地基于來自深度映射520的深度信息522。所述重投影702的輸出包括重投影的高分辨率熱圖像704，其中包括重投影的紋理信息706。

　　如圖7所示，重投影的高分辨率熱像704在空間上與深度映射520對齊。

　　盡管高分辨率熱圖像704和深度映射520在空間上對齊，但這兩幅圖像具有不同的圖像分辨率，其中高分辨率熱圖像704具有比深度映射520更高的圖像分辨率。來自深度映射的深度信息與來自紋理圖像的紋理信息可以降低使用深度信息和紋理信息生成的視差校正圖像的質量。

　　圖8示出生成上采樣深度映射804，其可包括與重投影的高分辨率熱圖像704的圖像分辨率相匹配的圖像分辨率。具體地，圖8顯示了作為上采樣802的輸入的深度映射520，并用于產(chǎn)生具有上采樣深度信息806的上采樣深度映射804。上采樣深度信息806在空間上與重投影的高分辨率熱圖像704的重投影紋理信息706對齊。

　　上采樣802包括或利用濾波算法，例如可以任選地利用引導圖像以改進算法輸出的保持邊緣濾波操作。

　　圖8示出重投影的高分辨率熱圖像704的重投影紋理信息706在空間上與上采樣深度映射804的上采樣深度信息806對齊。另外，重投影的高分辨率熱圖像704和上采樣深度映射804都包含相同的圖像分辨率。

　　因此，重新投影的紋理信息706和上采樣的深度信息806可以彼此結合使用，以形成視差校正圖像并顯示給用戶。

　　例如，系統(tǒng)可以利用上采樣深度信息806再次重新投影已經(jīng)重新投影的紋理信息706，以對應于用戶的一只或多只眼睛的視角。這種重投影可以包括，將重投影的紋理信息706的每個像素解投影到由具有相同像素坐標的上采樣深度信息806的相應像素所指示的距離。非投影可以在3D空間中提供3D點，并且3D點可以向與用戶視角相關聯(lián)的主要點投射并投射到面向前方的圖像平面上，以形成視差校正圖像。

　　圖9示出重新投影高分辨率低光圖像512以對應于與低分辨率深度映射520相關聯(lián)的捕獲透視圖的概念表示。

　　圖9示出了深度映射520，其中射線604從主點602延伸至深度映射520的深度信息522的各種像素。所述射線604被表示為從主點602通過深度映射520中表示的深度信息522的像素投射，因為所述深度信息像素位于位于主點602周圍的前圖像平面上。

　　每個射線604通過深度信息522的相應像素擴展到對應于深度信息522的相應像素的深度值的距離。射線604提供描繪在深度映射520中捕獲的對象506的3D表示606的多個3D點或坐標。

　　所述對象506的3D表示606的每個3D點或坐標可與所述深度信息522的特定像素相關聯(lián)，所述深度信息522通過所述相應的非投影光線604投射以提供所述3D點或坐標。這樣，如果高分辨率弱光圖像512的紋理信息514的像素可以與3D表示606的3D點或坐標相關聯(lián)，則紋理信息514的像素可以與深度映射520的深度信息522相關聯(lián)和/或對齊。

　　圖9進一步示出高分辨率低光圖像512，其射線904從高分辨率低光圖像512的主點902延伸至高分辨率低光圖像512的紋理信息514的各種像素。主點902對應于高分辨率低照度攝像頭402的光學中心或攝像頭中心，而高分辨率低照度攝像頭402捕獲高分辨率低照度圖像512。

　　所述射線904表示為從所述主點902通過紋理信息514的像素投射，因為所述紋理信息514的像素位于位于所述主點902周圍的前圖像平面上。至少一定的射線904通過紋理信息514的相應像素延伸，直到射線904與3D表示606的3D點相交。

　　通過使用3D表示606的3D點作為中介的這種關聯(lián)，紋理信息514的像素可以與深度映射520的深度信息522的像素相關聯(lián)，即使兩者是從不同的攝像頭角度捕獲。

　　換句話說，系統(tǒng)可以通過將紋理信息514取消投影到3D表示606上并投影到深度映射520上來重新投影紋理信息514，以對應于與深度映射520相關聯(lián)的透視圖。

　　圖10示出了重投影的高分辨率低光圖像1002，其可以使用基于深度映射520的深度信息522的重投影操作生成。重投影的高分辨率低光圖像1002包括重投影的紋理信息1004。

　　圖10同時示出生成上采樣深度映射1008，其可包括與重投影的高分辨率低光圖像1002的圖像分辨率相匹配的圖像分辨率。

　　具體地，圖10顯示了作為上采樣1006的輸入的深度映射520，其用于生成具有上采樣深度信息1010的上采樣深度映射1008，二所述上采樣深度信息1010在空間上與重投影的高分辨率低光圖像1002的重投影紋理信息1004對齊。

　　如上所述，圖10示出重投影的高分辨率低光圖像1002的重投影紋理信息1004在空間上與上采樣深度映射1008的上采樣深度信息1010對齊。另外，重投影的高分辨率低光圖像1002和上采樣深度映射1008都包含相同的圖像分辨率。

　　因此，系統(tǒng)可以利用上采樣深度信息1010，通過重新投影已經(jīng)重新投影的紋理信息1004以對應于用戶的一只或多只眼睛的視角來生成視差校正的圖像。

　　名為“Systems and methods for low compute high-resolution depth map generation using low-resolution cameras”的微軟專利申請最初在2022年2月提交，并在日前由美國專利商標局公布。