微軟專利進一步介紹HoloLens上的傳感器攝像頭

　　攝像頭已經(jīng)成為了AR/VR頭顯的重要組成組件。在名為“Camera for augmented reality display”的專利申請中，微軟就介紹了用于增強現(xiàn)實頭顯的攝像頭。

　　圖1示意性地描繪了一個增強現(xiàn)實場景。具體地，圖1示意性地示出了在真實環(huán)境104中使用增強現(xiàn)實顯示設(shè)備102的用戶100。增強現(xiàn)實顯示設(shè)備102通過近眼顯示器106向用戶的眼睛呈現(xiàn)圖像，從而提供增強現(xiàn)實體驗。由近眼顯示器呈現(xiàn)的圖像包括描述由攝像頭捕獲的真實世界圖像，以及由增強現(xiàn)實顯示設(shè)備生成或使用增強現(xiàn)實顯示設(shè)備查看的虛擬圖像的混合。

　　在圖1的示例中，用戶可以看到由增強現(xiàn)實顯示設(shè)備攝像頭成像的真實沙發(fā)110，以及由增強現(xiàn)實顯示設(shè)備生成并作為增強現(xiàn)實體驗一部分呈現(xiàn)在近眼顯示器的虛擬角色112。

　　或者，虛擬圖像可以由不同于增強現(xiàn)實顯示設(shè)備的設(shè)備生成。例如，增強現(xiàn)實顯示設(shè)備可以從單獨的渲染計算機接收預渲染虛擬圖像，并通過近眼顯示器顯示預渲染虛擬圖像。渲染計算機可以是增強現(xiàn)實顯示設(shè)備的本地計算機(例如通過有線連接或合適的無線協(xié)議進行通信)，或者渲染計算機可以遠離增強現(xiàn)實顯示設(shè)備(例如服務(wù)器計算機)，并通過互聯(lián)網(wǎng)或其他合適的網(wǎng)絡(luò)進行通信。

　　圖2更詳細地描述了真實圖像和虛擬圖像的混合。具體地，圖2示意性地示出了增強現(xiàn)實顯示設(shè)備102在使用期間的各個方面。近眼顯示器106位于用戶100的用戶眼睛200附近，使得近眼顯示器呈現(xiàn)的圖像對用戶可見。增強現(xiàn)實顯示設(shè)備102配備有攝像頭202。攝像頭202配置為捕捉來自真實世界環(huán)境的光，并生成可用于有助于經(jīng)由近眼顯示器呈現(xiàn)給用戶眼睛的圖像的輸出。

　　具體地，如圖所示，攝像頭202基于傳感器輸出信號203捕捉圖1中的真實世界環(huán)境104的圖像204。值得注意的是，圖像204可以是靜止圖像，或者可以是具有任何適當幀速率的視頻流的一幀，例如每秒90幀。

　　攝像頭從真實環(huán)境接收到的光通常是可見光，從而產(chǎn)生真實環(huán)境的可見光圖像，類似于用戶眼睛在沒有增強現(xiàn)實顯示設(shè)備的情況下所看到的圖像。然而，在其他示例中，攝像頭可基于其他光譜(例如紅外、紫外線、X射線等)生成真實世界環(huán)境的圖像。因為所述光譜對人眼不可見，攝像頭和/或增強現(xiàn)實顯示設(shè)備可以將對應(yīng)于接收到的光的像素值轉(zhuǎn)換為合適的可見RGB值。

　　另外，在圖2中，攝像頭202沿著遠離用戶眼睛200的光軸212定位。以這種方式，攝像頭的位置可以基本上類似于用戶眼睛相對于X軸和Y軸的位置，只是Z軸不同。但在其他示例中，攝像頭不必沿遠離眼睛的光軸放置，而是可以具有相對于X、Y和Z軸的任何適當位置。圖3-6提供關(guān)于攝像頭202的更多細節(jié)。

　　增強現(xiàn)實顯示設(shè)備102同時包括虛擬圖像渲染器206，所述虛擬圖像渲染器206配置為生成虛擬圖像以通過近眼顯示器顯示給用戶眼睛。如圖所示，虛擬圖像渲染器已生成描繪虛構(gòu)向?qū)Ы巧�的虛擬圖像208。然后，虛擬圖像208可以疊加在真實世界圖像204以生成增強現(xiàn)實圖像210。以這種方式，用戶可以感知虛構(gòu)的向?qū)Ы巧�，就好像它實際存在于用戶的真實世界環(huán)境中一樣。

　　如上所述，攝像頭202捕獲真實世界環(huán)境的圖像204，圖像204與虛擬圖像208組合以給出增強現(xiàn)實圖像210。增強現(xiàn)實圖像210經(jīng)由近眼顯示器106呈現(xiàn)給用戶眼睛200，基本上替換用戶對其周圍環(huán)境的視圖的至少一部分。但如圖所示，攝像頭的位置與用戶眼睛的位置不同，這意味著現(xiàn)實世界是從不同于用戶大腦通常預期的角度成像。如上所述，這可能會導致各種各樣的問題，導致頭暈。

　　當光線從攝像頭光圈到圖像傳感器的光路修改為長度介于用戶眼睛和攝像頭光圈之間距離的適當閾值范圍時，這可以減輕所述問題。這與將圖像傳感器物理定位到更接近用戶眼睛的實際位置具有類似的效果。

　　圖3A和3B示意性地描繪布置在攝像頭202內(nèi)的光學元件的細節(jié)，其可用于延長光從孔徑到圖像傳感器的光路。具體地，圖3A示意性地描繪了用戶眼睛200，以及以橫截面示出的增強現(xiàn)實顯示設(shè)備102的近眼顯示器106和攝像頭202。攝像頭202包括光圈300，光圈300配置為接收來自真實世界環(huán)境的光線302A和302B。攝像頭202同時包括圖像傳感器304，圖像傳感器304配置為通過生成可用于在描繪真實世界環(huán)境的近眼顯示器生成圖像的傳感器輸出信號來響應(yīng)從真實世界環(huán)境接收的光。光線302A和302B沿從光圈到由攝像頭一個或多個光學元件提供的圖像傳感器的光路行進。

　　攝像頭光圈可以有任何合適的形狀和尺寸。在示例中，光圈包括在面向攝像頭表面的環(huán)境中形成的環(huán)形環(huán)。如圖6所述，圖6示出了攝像頭202的面向環(huán)境的表面。如圖所示，攝像頭202包括在外邊緣附近形成的單個環(huán)形孔。圖像傳感器304以虛線示出，其描述了圖像傳感器相對于攝像頭主體和光圈的相對位置。但在其他示例中，攝像頭可包括多個光圈(和/或具有其他合適形狀的光圈。

　　可以使用任何合適類型的圖像傳感器。在一個示例中，圖像傳感器可以是互補金屬氧化物半導體(CMOS)傳感器。作為另一示例，圖像傳感器可以是電荷耦合器件(CCD)傳感器。

　　返回到圖3A，攝像頭202包括兩個光重定向表面306A和306B，其提供光從光圈到圖像傳感器的光路。具體地說，光線302A和302B在兩個光重定向表面之間反復反射，從而延長光路。應(yīng)當理解，圖3A中描繪的具體布置是為了示例而提供，不是限制性示例。例如在圖3A中，光沿光路徑被光圈遠側(cè)光重定向表面反射兩次，并且被光圈近側(cè)光重定向表面反射一次。但在其它實施方式中，光可沿光路徑被每個光重定向表面反射任意適當次數(shù)。這可能根據(jù)尺寸約束、材料約束、所需光路長度和/或其他考慮因素而變化。

　　另外，在圖3A中，圖像傳感器布置在兩個光重定向表面的孔徑近光重定向表面之上。在其他示例中，圖像傳感器可布置在光圈遠側(cè)光重定向表面之上，或具有相對于攝像頭202的其他組件的任何其他適當位置。

　　如上所述，當光路長度介于用戶眼睛和攝像頭光圈之間距離的適當閾值范圍內(nèi)時，可以減輕暈動癥，如圖3A和3B所示。值得注意的是，光重定向表面306A和306B之間的光的重復反射增加了光路的長度，使其大于攝像頭的物理長度，并且基本上等于用戶眼睛200和光圈300之間的距離。

　　圖3B顯示了攝像頭202的等效“展開”視圖。具體地說，其示出了用戶眼睛200、光圈300、光線302A和302B以及光圈近端光重定向表面306A，但省略了攝像頭202的其他元件。本質(zhì)上，圖3B示出了光所采用的替代光路，其中光在空間中傳播相同距離，但不被光重定向表面重復反射。

　　參考線312指示在圖3A中光被反射的沿“展開”光路的位置。通過沿著這種交替的“展開”路徑，光線會聚在用戶眼睛的位置，而不是圖像傳感器。這相當于圖像傳感器布置在用戶眼睛上或附近的場景，如示出圖像傳感器的等效位置的框314所示。換句話說，圖3A中描繪的配置允許圖像傳感器成像真實世界環(huán)境，就好像圖像傳感器位于圖3B中所示的314處一樣。因此，圖像傳感器將具有與用戶眼睛相似的透視圖。

　　應(yīng)當理解，光路長度可能與用戶眼睛和攝像頭光圈之間的距離有任何合適的關(guān)系。通常希望光路長度盡可能接近用戶眼睛和攝像頭之間的距離。但據(jù)估計，即使光路的長度僅為用戶眼睛和攝像頭光圈之間距離的50%，其都可以實現(xiàn)顯著的益處。

　　所以一般來說，光路的長度將在用戶眼睛和攝像頭光圈之間距離的適當閾值內(nèi)。作為一個示例，閾值可以等于50%。在其他示例中，閾值可以是25%或10%。可以使用任何合適的值，并且在特定情況下，閾值可以基于眼睛和被查看對象之間的距離。在特定情況下，光路長度可以動態(tài)地調(diào)整。

　　在圖3A的示例中，兩個光重定向表面是由氣隙分離的獨立組件。一般來說，兩個光重定向表面可由任何合適的光傳輸介質(zhì)分離�；蛘�，兩個光重定向曲面可以是單個結(jié)構(gòu)的第一曲面和第二曲面。

　　圖4示意性地示出了具有孔徑402的不同示例攝像頭400，其接收光404a和404b。光線沿著從孔徑到圖像傳感器406的光學路徑行進，其中光線由光重定向表面408a和408b反復反射。與圖3A不同，在示例中，光重定向表面是單光透射基板410的第一和第二表面。

　　在兩個光重定向表面物理分離的情況下，如圖3A所示，兩個光重定向表面之間的距離可以動態(tài)調(diào)整。換言之，兩個光重定向曲面中的任何一個或兩個都可以相對于攝像頭主體移動，從而改變兩個曲面之間的距離。為此，圖3A包括可操作地耦合到控制器310的兩個光重定向表面之間的距離調(diào)節(jié)器308。

　　例如，光重定向曲面中的一個或兩個可以附著到軌道，并且距離調(diào)整器可以包括配置成沿軌道移動光重定向曲面的電機，例如，相對于Z軸�？刂破�310可以包括任何適合的計算機硬件和固件組件的集合，使得控制器可以被激活，以動態(tài)地調(diào)整光重定向表面之間的距離。通過調(diào)整差值，可以改變光從孔徑到圖像傳感器的光路長度。

　　當兩個光重定向表面是單個光學透射基板的第一和第二表面時，可以實現(xiàn)類似的效果，如圖4中的情況。例如，光學透射基板可以是具有動態(tài)可變折射率的電光材料，例如液晶或其他合適的材料。所以如圖3A所示，攝像頭400可操作地耦合到控制器，而控制器配置為通過動態(tài)地提供電壓或電流來影響光透射基板的光透射特性。

　　在圖3A的示例中，所描繪的光重定向表面為平面且彼此平行。但其他示例可以采取其他方式。圖5描繪了另一示例攝像頭500。與攝像頭202和400一樣，攝像頭500包括光圈502，其配置為接收來自真實世界環(huán)境的光線504A和504B。光線沿著從光圈到圖像傳感器506的光路行進，其中光線被光重定向表面508A和508B重復反射。

　　與前面描述的攝像頭不同，攝像頭500中的光重定向表面為彎曲。這種彎曲的光重定向表面可以具有任何合適的曲率半徑，并且曲線可以是凸的或凹的，這取決于實現(xiàn)。另外，兩個光重定向表面中的每一個不需要以相同的方式或以相同的程度彎曲。

　　光重定向表面508A和508B是由氣隙隔開的獨立組件。因此，與攝像頭202一樣，彎曲光重定向表面之間的距離在某些情況下可以通過任何合適的機制動態(tài)調(diào)整�；蛘�，與攝像頭400一樣，彎曲的光重定向表面可以是單個光學透射基板的分離表面。在這種情況下，光學透射基板在某些情況下可以是具有動態(tài)可調(diào)折射率的電光材料。

　　光重定向表面以及攝像頭的其他組件可通過任何合適的制造方法制造。作為一個示例，當使用平面光重定向表面時，可通過晶圓級制造來產(chǎn)生所述表面。因此，光重定向表面可以是硅晶片或其他合適的材料，其中一個或多個光學元件或涂層應(yīng)用于晶片�；蛘撸�光重定向表面可以是單個晶圓的細分。當光重定向表面彎曲時，可使用另一合適的制造方法，例如金剛石車削。

　　一般而言，光重定向表面以及攝像頭的其他光學組件可以由任何合適的材料組成。例如，光重定向表面可以由硅、塑料、金屬、玻璃、陶瓷或其他合適的材料組成。當光重定向表面是光學透射基板的單獨表面時，基板可由任何適當?shù)耐干洳牧蠘?gòu)成，例如玻璃、透明塑料、透明硅或電光材料。

　　在各種情況下，基本上每個光重定向表面的整個表面區(qū)域可以是反射的，或者僅光重定向表面的各個部分可以是反射的。換句話說，每個光重定向表面的各個部分可以具有印刷在表面上或以其他方式應(yīng)用于表面的反射涂層。

　　另外，布置在所述攝像頭內(nèi)的光學元件不需要限于迄今為止所描述的光重定向表面。相反，作為非限制性示例，合適的光學元件可以包括各種反射元件、透射元件、折射元件、衍射元件、全息元件、透鏡、濾波器、擴散器等。

　　名為“Camera for augmented reality display”的微軟專利申請最初在2020年5月提交，并在日前由美國專利商標局公布。