微軟專利提出含投影儀的頭顯收納盒，輔助AR頭顯顯示全息圖

　　如果大家有關(guān)注映維網(wǎng)的微軟專利分享，你應(yīng)該會留意到這家公司圍繞AR設(shè)備的收納盒進(jìn)行了一系列的探索，例如利用眼鏡盒幫助AR眼鏡執(zhí)行高精度深度測量。

　　日前，在一份名為“Device case including a projector”的專利申請中，微軟又提出了一種包含投影儀的設(shè)備收納盒。其中，專利描述了一種利用收納盒來幫助頭顯顯示全息圖的方法。

　　具體來說，AR頭顯設(shè)備使用深度信息來顯示關(guān)于真實(shí)世界環(huán)境的全息圖。在圖1中，用戶102佩戴頭顯設(shè)備104。頭顯設(shè)備104用于顯示全息圖106。

　　頭顯設(shè)備104可以使用深度成像來確定設(shè)備104與環(huán)境中的一個或多個對象(例如桌子108的邊緣)之間的距離，并生成真實(shí)世界環(huán)境100的深度圖。深度圖用于確定全息圖的放置，包括全息圖的位置、方向和/或比例因子。

　　頭顯設(shè)備可以使用立體攝像頭系統(tǒng)并通過執(zhí)行三角測量來確定深度。然而，對于立體攝像機(jī)系統(tǒng)的攝像頭而言，對照明不良環(huán)境的特征進(jìn)行成像可能具有挑戰(zhàn)性，并可能導(dǎo)致全息圖的不正確顯示。例如，頭顯設(shè)備104可能計劃在位置106′顯示與桌子108相鄰的全息圖106。

　　但在黑暗環(huán)境中，頭顯設(shè)備104可能無法準(zhǔn)確感知桌子108的邊緣位于何處，并且可能錯誤地將全息圖放置錯誤的位置。

　　所以，微軟提出可以利用包含投影儀的設(shè)備收納盒，以便于可穿戴設(shè)備可以精確放置全息圖。簡言之，設(shè)備收納盒的投影儀可以輸出合適的照明，以允許可穿戴設(shè)備的立體攝像頭系統(tǒng)在類似的照明條件下以更高信噪比來獲取圖像數(shù)據(jù)。

　　參考圖2，頭顯收納盒110的投影儀對使用環(huán)境100的照明可以允許頭顯104在預(yù)期位置顯示全息圖106。在一個實(shí)施例中，收納盒的投影儀可以輸出包括圖案的結(jié)構(gòu)光，使得圖案中的失真可以為立體深度成像提供額外的信息和對比度。這種圖案可以或可以不包括重復(fù)的或?qū)ΨQ的特征。在其他示例中，投影儀可以輸出非結(jié)構(gòu)化光。

　　由設(shè)備收納盒投影的結(jié)構(gòu)化光圖案同時可以用于使用單個攝像頭獲取深度信息，其中攝像頭和設(shè)備收納盒彼此校準(zhǔn)。在這樣的示例中，可以通過從攝像頭和投影儀之間的初始校準(zhǔn)開始，并在攝像頭處獲得結(jié)構(gòu)光的圖像來確定攝像頭相對于收納盒的相對取向。

　　通過將圖像與初始校準(zhǔn)進(jìn)行比較，可以識別攝像頭和投影儀之間圍繞滾動軸的旋轉(zhuǎn)。俯仰和偏航可以使用極線搜索和三角測量來確定。例如在校準(zhǔn)期間，結(jié)構(gòu)化光圖案配準(zhǔn)到攝像頭的一個或多個像素。

　　當(dāng)攝像頭和投影儀之間的相對俯仰和/或偏轉(zhuǎn)改變時，結(jié)構(gòu)光圖案在傳感器上移動。所以，可以通過分別在垂直和水平方向監(jiān)測傳感器的結(jié)構(gòu)化光圖案位移來確定俯仰和偏航。

　　圖3示出了包括頭顯302和頭顯收納盒304的示例系統(tǒng)300框圖。如上所述，頭顯302可以包括立體攝像頭系統(tǒng)306。頭顯302同時包括透視顯示系統(tǒng)308、第一通信系統(tǒng)310和第一計算系統(tǒng)312。第一計算系統(tǒng)312配置為經(jīng)由透視顯示系統(tǒng)308控制圖像的顯示，并經(jīng)由第一通信系統(tǒng)310控制與收納盒304的通信。

　　收納盒304包括投影儀316、第二通信系統(tǒng)318和第二計算系統(tǒng)320。第二計算系統(tǒng)320配置為控制投影儀316向周圍環(huán)境輸出照明光，并控制經(jīng)由第二通信系統(tǒng)318與頭顯302的通信。

　　圖5示出了頭顯設(shè)備的示例性收納盒500。收納盒500配置為在頭顯設(shè)備不使用時容納頭顯設(shè)備。如圖2所示，收納盒500同時包括被配置為發(fā)射照明光的投影儀502。如上所述，投影儀502可以配置為發(fā)射任何合適波長的結(jié)構(gòu)化或非結(jié)構(gòu)化光，以幫助頭顯設(shè)備進(jìn)行深度感測。

　　圖6和圖7示出了適合結(jié)合在圖5的情況中的投影儀的示例。首先，圖6示出了包括相干光發(fā)射器602、準(zhǔn)直透鏡603、以及包括衍射光學(xué)元件604的圖案生成元件的結(jié)構(gòu)光投影儀600。其中，衍射光學(xué)元件602配置為使用由光發(fā)射器602發(fā)射的相干光來創(chuàng)建結(jié)構(gòu)光圖案。

　　在所示示例中，預(yù)定結(jié)構(gòu)光圖案606包括散斑圖案。斑點(diǎn)圖案的點(diǎn)可以具有任何合適的尺寸和密度。在一個實(shí)施例中，光圖案的點(diǎn)可以在一個或兩個維度均勻間隔，而在其他示例中，點(diǎn)的圖案可以不規(guī)則，例如隨機(jī)圖案。

　　圖7示出了包括光發(fā)射器702和投影光學(xué)器件704的非結(jié)構(gòu)化光投影儀700示例。非結(jié)構(gòu)化光投射器700配置為發(fā)射非結(jié)構(gòu)化光706。投影光學(xué)器件704可以包括任何合適的光學(xué)元件。

　　在一個實(shí)施例中，投影光學(xué)器件704包括光學(xué)漫射器，例如微透鏡陣列或衍射光學(xué)元件。在其他示例中，可以使用任何其他合適的擴(kuò)散器。同樣，光發(fā)射器702可以采取任何合適的形式。在一個實(shí)施例中，光發(fā)射器704包括相干光源，例如激光二極管。在其他示例中，光發(fā)射器702包括發(fā)光二極管。

　　圖8示出了描繪用于經(jīng)由頭顯設(shè)備顯示全息圖的示例方法800流程圖。

　　在802，經(jīng)由頭顯的攝像頭系統(tǒng)，通過檢測位于收納盒投影儀輸出的照明光來獲取捕獲周圍環(huán)境的圖像數(shù)據(jù)。

　　作為示例，再次參考圖2，收納盒110放置在桌面108，使得由收納盒110輸出的照明光112包圍桌子108的一部分。如圖2中的示例所示，收納盒110可以成形為使得其可以設(shè)置在桌子108或任何其他合適的表面上，并且照亮真實(shí)世界環(huán)境的至少一部分。

　　再次參考圖8，在810，從頭顯設(shè)備向收納盒發(fā)送指令以輸出照明光�？梢曰�于任何合適的條件來發(fā)送這樣的指令，例如頭顯設(shè)備未能在黑暗環(huán)境中跟蹤對象和/或感測到的環(huán)境光水平下降到閾值以下。在其他示例中，照明光的輸出可以由用戶輸入觸發(fā)，例如按下收納盒的按鈕，或者經(jīng)由頭顯設(shè)備的用戶輸入機(jī)制進(jìn)行任何適當(dāng)?shù)妮斎�，�?12所示。

　　在814，方法800包括基于圖像數(shù)據(jù)確定到周圍環(huán)境中的物體的距離。例如，圖2的頭顯設(shè)備104可以處理圖像數(shù)據(jù)以確定從頭顯設(shè)備102到環(huán)境中的平坦表面的距離。

　　在816，方法800包括經(jīng)由頭顯設(shè)備顯示全息圖。全息圖包括包括左眼圖像和右眼圖像的立體圖像。左眼圖像和右眼圖像各自具有基于距離的透視。例如，圖2的全息圖106配置為與桌子108的邊緣114相鄰地顯示。因此，頭顯 104可以基于圖像數(shù)據(jù)計算左眼圖像和右眼圖像的透視圖，使得全息圖106出現(xiàn)在用戶102的適當(dāng)位置。

　　如818所示，全息圖可以顯示在參考對象的位置。例如，圖2的全息圖106可以顯示在與桌子108相鄰的位置。通過檢測從桌子108反射的照明光112，即使在黑暗環(huán)境中，全息圖106也可以顯示在適當(dāng)?shù)奈恢谩?/p>

　　名為“Device case including a projector”的微軟專利申請最初在2021年6月提交，并在日前由美國專利商標(biāo)局公布。