微軟專利探索用外設(shè)眼鏡盒幫助AR眼鏡執(zhí)行高精度深度測量

　　深度感知數(shù)據(jù)對于AR/VR設(shè)備非常重要。例如，AR頭顯主要利用深度信息來顯示關(guān)于真實(shí)世界環(huán)境的全息圖。例如，AR頭顯可以利用飛行時(shí)間(ToF)或結(jié)構(gòu)光深度攝像頭等直接測量深度傳感器來測量到環(huán)境物體的距離。然而，由于ToF攝像頭或結(jié)構(gòu)光深度攝像頭可能比感測二維強(qiáng)度圖像的攝像頭更大，所以采用諸如眼鏡等較小形狀參數(shù)的其他頭戴式設(shè)備會采用立體攝像頭布置，亦即定位在間隔開位置的一對二維攝像頭，并通過執(zhí)行三角測量來確定深度。

　　然而，立體深度測量對立體攝像頭的位置和取向的變化敏感，一個(gè)攝像頭相對于另一個(gè)攝像頭的位置和/或方向的偏差可能導(dǎo)致錯(cuò)誤的深度測量。

　　在名為“Depth sensing via device case”的專利申請中，微軟就提出一種利用外設(shè)來幫助諸如AR眼鏡等設(shè)備執(zhí)行高精度深度測量的方法。有趣的是，微軟描述的外設(shè)可以是用來裝AR眼鏡的眼鏡盒。換句話說，用于裝AR眼鏡的眼鏡盒可以搭載一系列的傳感組件，并作為一種外設(shè)捕獲深度信息。例如下面的圖6所示。

　　圖6示出了第一用戶600和第二用戶602參與全息通信會話的場景。第一用戶600位于第一真實(shí)世界環(huán)境604中并佩戴第一AR眼鏡606。第二用戶602位于第二真實(shí)世界環(huán)境608中并佩戴第二AR眼鏡 610。

　　用于第一AR眼鏡606的第一外設(shè)612定位為捕獲包括第一用戶600的深度圖像的深度數(shù)據(jù)，以及包括第一用戶的可見圖像的紋理數(shù)據(jù)，紋理數(shù)據(jù)映射到深度數(shù)據(jù)，使得紋理數(shù)據(jù)可以應(yīng)用到深度數(shù)據(jù)以生成第一用戶614的全息圖，并經(jīng)由第二AR眼鏡610顯示給第二用戶602。

　　用于第二AR眼鏡610的第二外設(shè)616同理，使得第一AR眼鏡610可以顯示第二用戶602的全息圖。

　　圖2示出了包括頭顯202和外設(shè)204的示例系統(tǒng)200框圖。頭顯202可包括深度傳感器，例如立體攝像頭系統(tǒng)206。頭顯204同時(shí)包括透視顯示系統(tǒng)208、第一通信系統(tǒng)210和第一計(jì)算系統(tǒng)212。第一計(jì)算系統(tǒng)212配置為經(jīng)由透視顯示系統(tǒng)208控制圖像的顯示，并經(jīng)由第一通信系統(tǒng)210控制與外設(shè)204的通信。在一個(gè)實(shí)施例中，外設(shè)204和頭顯202彼此直接通信。在其他示例中，外設(shè)204和頭顯202經(jīng)由網(wǎng)絡(luò)214通信地耦合。

　　外設(shè)204包括直接測量深度傳感器216、第二通信系統(tǒng)218和第二計(jì)算系統(tǒng)220。第二計(jì)算設(shè)備220配置為控制直接測量深度深度傳感器216以獲取真實(shí)世界環(huán)境的深度數(shù)據(jù)222，并控制第二通信系統(tǒng)218將深度數(shù)據(jù)222發(fā)送到頭顯202。然后，頭顯202可以至少基于由直接測量深度傳感器216輸出的深度數(shù)據(jù)222來顯示全息圖。

　　在一個(gè)示例中，外設(shè)同時(shí)可包括紅/綠/藍(lán)(RGB)圖像傳感器224。RGB圖像傳感器可用于獲取用于紋理映射的圖像數(shù)據(jù)，如紋理數(shù)據(jù)226所示。這類紋理映射數(shù)據(jù)可用于全息通信場景和/或其他可能場景。頭顯202和/或外設(shè)204中的每一個(gè)可以可選地包括麥克風(fēng)228、230。麥克風(fēng)228和/或麥克風(fēng)230可以被配置為捕獲用戶的語音以用于通信會話。

　　系統(tǒng)200可以與遠(yuǎn)程計(jì)算系統(tǒng)240通信。例如，遠(yuǎn)程計(jì)算系統(tǒng)24可以包括服務(wù)器，后者配置為基于從外設(shè)204接收的深度數(shù)據(jù)222和/或紋理數(shù)據(jù)226以及其他可能的功能來生成全息圖像。遠(yuǎn)程計(jì)算系統(tǒng)可以促進(jìn)在用戶之間進(jìn)行全息通信會話和/或各種其他功能。

　　圖3示出了示例性的眼鏡設(shè)備300。眼鏡設(shè)備300包括框架302、第一攝像頭304、第二攝像頭306、顯示器和鏡腿部件308A、308B。在所述示例中，顯示器包括由框架302支撐的第一顯示器310和第二顯示器311，其中第一顯示器310及第二顯示器311中的每一個(gè)采用波導(dǎo)的形式，而波導(dǎo)配置為將投影圖像傳送到用戶的相應(yīng)眼睛。

　　第一攝像頭304和第二攝像頭306分別位于框架302的左側(cè)和右側(cè)，其中第一攝像頭和第二攝像頭中的每一個(gè)位于框架之上，與框架的外邊緣相鄰。第一攝像頭304和第二攝像頭306可以作為立體相機(jī)對操作以進(jìn)行間接深度測量。

　　眼鏡設(shè)備300同時(shí)包括第一顯示模塊312和第二顯示模塊328，第一顯示模塊與第一攝像頭304相鄰，用于顯示立體圖像的第一圖像。每個(gè)顯示模塊可以包括任何合適的顯示技術(shù)，例如掃描光束投影儀、microLED、microOLED或LCoS。另外，可以使用諸如上述波導(dǎo)、一個(gè)或多個(gè)透鏡、棱鏡和/或其他光學(xué)元件的各種光學(xué)器件來向用戶的眼睛遞送顯示的圖像。

　　圖4示出了眼鏡盒外設(shè)。當(dāng)用戶不使用AR眼鏡時(shí)，眼鏡盒外設(shè)可以用來裝AR眼鏡。外設(shè)400包括飛行時(shí)間(ToF)攝像頭形式的直接測量深度傳感器，其包括ToF圖像傳感器402和ToF照明器404。盡管圖4的外設(shè)包括單個(gè)深度傳感器，但在其他示例中外設(shè)可以包括兩個(gè)或更多個(gè)深度傳感器。

　　另外，外設(shè)可以包括不同于ToF攝像頭的直接深度傳感器，例如結(jié)構(gòu)光深度攝像頭。ToF攝像頭配置為通過測量ToF發(fā)射器404發(fā)射的光信號的往返行程時(shí)間來解析ToF圖像傳感器402的傳感器像素與表面之間的距離。

　　在一個(gè)實(shí)施例中，外設(shè)400包括可選的RGB強(qiáng)度圖像傳感器406，其可用于例如獲取用于紋理映射的圖像數(shù)據(jù)。在一個(gè)示例中，ToF攝像頭可以包括RGB圖像傳感器406的方面。在這樣的示例中，ToF攝像頭可以包含配置為在IR和可見光模式下成像的攝像頭，以在RGB成像的強(qiáng)度模式下以及在深度成像的ToF模式下操作。

　　通過利用外設(shè)為AR眼鏡提供進(jìn)一步的深度信息，AR眼鏡可以保持較小的形狀參數(shù)，并依然獲得高精度的深度數(shù)據(jù)。

　　名為“Depth sensing via device case”的專利申請最初在2021年6月提交，并在日前由美國專利商標(biāo)局公布。