微軟專利介紹HoloLens在弱光條件下提供混合現(xiàn)實體驗的解決方案

　　MR系統(tǒng)通常包括一個或多個配置用于執(zhí)行圖像捕獲任務(wù)的傳感器。例如，MR系統(tǒng)可以包括一個或多個面向環(huán)境的攝像頭，并用于捕獲用戶環(huán)境的視頻幀和/或提供用戶環(huán)境的透視視圖。在一個實施例中，MR系統(tǒng)包括各種模式的立體攝像頭，以提供用戶環(huán)境的視差校正透視視圖，從而增強用戶對真實世界環(huán)境的感知。例如，包括長波熱成像攝像頭的MR系統(tǒng)可允許用戶透過煙霧、薄霧和/或灰塵感知。在另一個示例中，包括微光成像攝像頭的MR系統(tǒng)可允許用戶在低于人類視覺所需水平的微光/低光環(huán)境中感知。

　　用于執(zhí)行計算機視覺任務(wù)的MR系統(tǒng)的傳感器和用于執(zhí)行圖像捕獲任務(wù)的MR系統(tǒng)的傳感器可以配置為在不同的環(huán)境照明條件下工作。但在弱光/低光條件下，現(xiàn)有MR系統(tǒng)的傳感器或無法實現(xiàn)計算機視覺任務(wù)和圖像捕獲任務(wù)的可接受性能。

　　舉例來說，在某些情況下，盡管MR系統(tǒng)的微光攝像頭可在微光條件下捕獲環(huán)境的圖像，MR系統(tǒng)的姿勢檢測攝像頭系統(tǒng)可能無法在弱光條件下準(zhǔn)確檢測姿勢數(shù)據(jù)。所以，在弱光條件下執(zhí)行圖像捕獲任務(wù)(例如提供視差校正的透視圖像)，并同時執(zhí)行計算機視覺任務(wù)(例如姿勢檢測)存在挑戰(zhàn)。

　　至少出于上述原因，對于在相同環(huán)境光照條件(例如弱光條件)下執(zhí)行計算機視覺任務(wù)和圖像捕獲任務(wù)的技術(shù)和系統(tǒng)，尤其是在弱光條件下提供混合現(xiàn)實體驗的技術(shù)和系統(tǒng)存在持續(xù)的需求和愿望。

　　在名為“Systems and methods for providing mixed-reality experiences under low light”的專利申請中，微軟介紹了用于在弱光條件下提供混合現(xiàn)實體驗的系統(tǒng)和方法。其中，專利的實施例中旨在促進(jìn)計算機視覺任務(wù)(例如頭部追蹤)和透視成像，尤其是在弱光條件下促進(jìn)計算機視覺任務(wù)。

　　在一個實施例中，MR系統(tǒng)包括掃描傳感器，掃描傳感器包括可見光攝像頭、微光攝像頭、熱成像攝像頭，以及潛在(但不一定)紫外(UV)攝像頭或近紅外(NIR)攝像頭。掃描傳感器可以進(jìn)一步包括任何其他類型的攝像頭或攝像頭系統(tǒng)，例如深度攝像頭和飛行時間攝像頭等。

　　一個實施例包括MR系統(tǒng)，例如頭戴式顯示器(HMD)，其包括配置用于執(zhí)行計算機視覺任務(wù)的第一組一個或多個攝像頭和配置用于捕獲環(huán)境圖像數(shù)據(jù)以投影到用戶的第二組一個或多個攝像頭。在一個實施例中，第一組一個或多個攝像頭配置為檢測至少可見光譜光和至少特定波段的紅外(IR)光，并且第二組一個或多個攝像頭包括一個或多個可分離紅外濾光片，其配置為衰減IR光，包括至少一部分特定波段的紅外光。

　　在一個實施例中，專利描述的方法至少使用一個或多個攝像頭的第一組來捕捉用于執(zhí)行計算機視覺任務(wù)的一個或多個圖。在一個實施例中，第一組一個或多個攝像頭配置為檢測至少可見光譜光和至少特定波段的紅外(IR)光，并且使用在環(huán)境中反射的特定波段的紅外光捕獲第一組一個或多個圖像。

　　在一個實施例中，專利描述的方法至少使用使用一個或多個攝像頭的第二組來捕捉一個或多個圖像，其中一個或多個攝像頭的第二組配置為捕捉環(huán)境的圖像數(shù)據(jù)，以便投影到頭顯用戶。另外，一個或多個攝像頭的第二組包括一個或多個可分離紅外濾光片，其配置為衰減紅外光，包括至少一部分特定波段的紅外光，使得一個或多個圖像的第二組省略衰減的紅外光。

　　通常，人眼能夠感知所謂的“可見光譜”內(nèi)的光，其中包括波長從約380納米(nm)到約740納米的光�？梢姽庹障囝^包括構(gòu)造成捕獲可見光譜內(nèi)的光的RGB攝像頭。RGB攝像頭可以實現(xiàn)為立體攝像機，這意味著兩個或多個RGB攝像頭的視場至少部分地相互重疊。利用所述重疊區(qū)域，由可見光照相頭生成的圖像可用于識別通常表示由兩個圖像捕獲的對象的特定像素之間的差異。在對立體圖像對應(yīng)用校正后測量差異，以使圖像對應(yīng)像素沿掃描線對齊。在校正之后，通常表示環(huán)境中對象的不同圖像中的對應(yīng)像素僅在一維上不同。立體圖像對的各自圖像中的相應(yīng)像素之間的一維差表示由相應(yīng)像素表示的對象的視差值。

　　圖2示出了示例頭顯200。頭顯200包括多個不同的攝像頭，如可見光攝像頭、微光攝像頭、熱成像攝像頭和紫外照攝像頭的任意數(shù)量或組合。盡管圖2中僅示出了5個攝像頭，但可以包括多于或少于5個攝像頭。

　　現(xiàn)在注意圖3。頭顯300具有用于執(zhí)行計算機視覺任務(wù)的傳感器和用于執(zhí)行圖像捕獲任務(wù)的傳感器。頭顯300包括實現(xiàn)為可見光攝像頭的一組頭部追蹤攝像頭305和實現(xiàn)為微光攝像頭的一組透視攝像頭315。

　　在一個實施例中，頭顯300包括其他傳感器，例如深度系統(tǒng)320和其他攝像頭325，其可配置為執(zhí)行與攝像頭305和315執(zhí)行的圖像捕獲功能相同或不同的圖像捕獲功能集。其他攝像頭和傳感器例如可以啟用混合現(xiàn)實體驗的附加功能，例如手部追蹤、視頻捕獲等。

　　頭部追蹤攝像頭305配置為捕獲環(huán)境的圖像數(shù)據(jù)。在一個實例中，頭部追蹤攝像頭305捕獲的圖像提供與慣性追蹤數(shù)據(jù)(例如由加速計155、陀螺儀160、指南針165獲得)一起使用的視覺追蹤數(shù)據(jù)，以確定頭顯300的六自由度姿勢數(shù)據(jù)。頭部追蹤攝像頭305可以與其他組件協(xié)同工作，以使頭顯能夠基于用戶的視角并相對于環(huán)境顯示世界鎖定全息圖。

　　頭顯300的一組透視照相機315配置用于捕捉環(huán)境的人類可感知圖像，例如要顯示/投影給一個或多個用戶的圖像。

　　根據(jù)圖3所示的實現(xiàn)，頭顯300的透視攝像頭315實現(xiàn)為一對立體微光攝像頭。在一個實例中，每個透視攝像頭315基本與對應(yīng)的用戶眼睛對齊，這可以減少對透視攝像頭315捕獲的圖像數(shù)據(jù)執(zhí)行視差校正所需的變換。在其他實施例中，攝像頭315從用戶的眼睛偏移，并且執(zhí)行前述變換以完成上述視差校正。

　　在一個實施例中，頭顯300基于透視攝像頭315捕獲的立體圖像對來識別環(huán)境紋理信息。在一個實施例中，立體圖像對包括左圖像和右圖像。在一個實施例中，頭顯300同時對透視攝像頭315捕獲的立體圖像對執(zhí)行立體匹配，從而生成環(huán)境的深度映射。

　　在一個實施例中，頭顯300配置為提供頭顯的六自由度姿勢追蹤，以便在顯示器330A、330B準(zhǔn)確呈現(xiàn)關(guān)于用戶透視圖和關(guān)于環(huán)境中對象的世界鎖定全息圖。另外，在一個實施例中，頭顯300配置為提供經(jīng)視差校正的環(huán)境的低光透視視圖，并在顯示器330A、330B同時顯示世界鎖定全息圖和環(huán)境的低光透視圖像。例如，頭顯300可以實現(xiàn)同時的世界鎖定全息圖顯示和透視成像顯示，以提供混合現(xiàn)實游戲和/或訓(xùn)練體驗。

　　如上所述，頭顯執(zhí)行頭部追蹤以準(zhǔn)確顯示世界鎖定全息圖，并同時在混合現(xiàn)實體驗的顯示器提供透視圖像。這存在眾多挑戰(zhàn)，特別是弱光條件下。圖4所示的示例環(huán)境將更詳細(xì)地描述這樣的場景。

　　圖4示出了可以包括各種環(huán)境的建筑物405的示例。圖4所示的建筑物405包括照明環(huán)境415和微光環(huán)境420。舉例來說，照明環(huán)境415可具有約10 lux或更大的環(huán)境照度，且微光環(huán)境420可具有約10 lux或更低的環(huán)境照度。

　　圖4同時示出了位于照明環(huán)境415內(nèi)的用戶410A和位于微光環(huán)境內(nèi)的用戶410B。在圖4所示的示例中，用戶410A和410B都在操作與頭顯300相對應(yīng)的MR系統(tǒng)，并且正在參與混合現(xiàn)實體驗。

　　如上所述，頭顯300的頭部追蹤攝像頭305實現(xiàn)為可見光攝像頭。所以，用戶410A的MR系統(tǒng)的頭部追蹤攝像頭305能夠捕獲視覺追蹤數(shù)據(jù)以檢測照明環(huán)境415內(nèi)的姿勢。

　　另外，在一個實施例中，用戶410B的MR系統(tǒng)的透視攝像頭315能夠捕獲圖像，以提供微光環(huán)境420的經(jīng)視差校正的微光透視視圖。但在一個實例中，用戶410B的MR系統(tǒng)的頭部追蹤攝像頭305可能無法捕獲視覺追蹤數(shù)據(jù)以檢測微光環(huán)境420內(nèi)的姿勢。例如，在弱光環(huán)境420中，頭部追蹤攝像頭305捕獲的頭部追蹤圖像可能無法包括足夠數(shù)量的可識別特征點，以實現(xiàn)關(guān)于用戶410B的透視和/或微光環(huán)境420的精確頭部追蹤和世界鎖定全息圖的精確顯示。

　　所以，在一個實施例中，頭部追蹤攝像頭305配置為除可見光譜光外可進(jìn)一步檢測紅外(IR)光。圖5A和5B說明了配置用于檢測IR光的頭部追蹤攝像頭的示例。

　　傳感器530配置為檢測至少一定的可見光譜光(例如在約380 nm到約740 nm的范圍內(nèi))和至少一定的紅外光(例如在約750 nm到約1100 nm的范圍內(nèi))。在一個實施例中，傳感器530實現(xiàn)為包括硅、硅鍺、磷化銦、砷化銦鎵和/或其他材料的傳感器。透鏡520可用于將接收到的光聚焦到傳感器530，并且可包括單個透鏡或任意數(shù)量的透鏡和/或其他光學(xué)元件。

　　圖5A示出了頭部追蹤攝像頭305A包括位于透鏡520和傳感器530之間的雙帶通濾波器525。雙帶通濾波器525配置為發(fā)射至少一定的可見光譜光和至少一定的紅外光。

　　圖5A的頭部追蹤攝像頭305A配置為在透鏡520處接收可見光譜光和紅外光，并將光指向傳感器530和/或帶通濾波器525。帶通濾波器525配置成將通過透鏡520接收到的至少一部分可見光譜光和至少一特定波段的紅外光向傳感器530發(fā)射。然后，傳感器530檢測接收到的可見光和/或紅外光信號，使得頭顯能夠基于可見光和紅外光(如果存在)確定用于執(zhí)行頭部追蹤的視覺跟蹤數(shù)據(jù)。

　　圖5B示出了頭部追蹤攝像頭305B的實現(xiàn)，其包括透鏡520和傳感器530，同時省略了雙帶通濾波器525。在這樣的實施方式中，頭部追蹤攝像頭305B配置為在透鏡520處接收可見光譜光和紅外光，并將光指向傳感器530，并且傳感器530配置為檢測接收到的可見光和/或紅外光信號，使得頭顯能夠基于可見光和紅外光(如果存在)確定用于執(zhí)行頭部追蹤的視覺追蹤數(shù)據(jù)。

　　名為“Systems and methods for providing mixed-reality experiences under low light conditions”的微軟專利申請最初在2020年5月提交，并在日前由美國專利商標(biāo)局公布。