微軟專利描述如何利用空間錨點構(gòu)建AR/MR體驗

　　Spatial Anchors(空間錨點)表示存在于云中的物理點。對于增強現(xiàn)實應用，全息圖可以附著到空間錨點。空間錨點的獨特地方在于，它能夠在云中存儲和持久化，并在以后由創(chuàng)建它的設備或任何其他受支持設備進行查詢。這能夠?qū)崿F(xiàn)錨點的云備份和基于云的錨點共享。

　　想象一下這個場景：你和一個朋友在家，你們同意通過增強現(xiàn)實設備開玩國際象棋，并在桌面定位全息棋盤。在設備端，兩人可以在現(xiàn)實世界中的同一位置(桌面)查看棋盤。無論在物理空間中移動到何處，棋盤都將固定到一個點。你甚至可以結(jié)束會話并在第二天重新啟動，無需再次放置錨。

　　對于幕后的技術(shù)原理，全息國際象棋應用使用一個空間錨點來保存棋盤的位置。這包括有關(guān)環(huán)境點的特征信息。全息國際象棋應用可以共享空間錨信息。然后，你朋友的HoloLens、iOS或Android設備端的應用程序可以查詢空間錨點位置。一旦確定，任意多個設備的應用程序就可以在相同的物理位置呈現(xiàn)棋盤。

　　在一份名為“Connecting spatial anchors for augmented reality”的專利中，這家公司描述了一種連接空間錨點的增強現(xiàn)實系統(tǒng)。具體來說，發(fā)明介紹了一種利用空間錨點來構(gòu)建AR/MR體驗的技術(shù)。

　　專利描述的計算設備包括攝像頭、處理器、以及存儲可由處理器執(zhí)行的指令的存儲器。攝像頭捕獲成像第一物理世界位置的第一圖像數(shù)據(jù)，然后處理器基于第一圖像數(shù)據(jù)創(chuàng)建第一物理世界位置的第一空間表示。

　　接收定義第一虛擬空間錨點相對第一圖像數(shù)據(jù)中的成像特征的姿態(tài)的用戶輸入，追蹤用戶到第二物理世界位置的移動，通過攝像頭捕獲成像第二物理世界位置的第二圖像數(shù)據(jù)，接收定義第二虛擬空間錨點相對于第二圖像數(shù)據(jù)中的成像特征的姿態(tài)的用戶輸入，并向遠程計算設備發(fā)送表示第一空間表示、第一虛擬空間錨點的姿態(tài)、第二空間表示的數(shù)據(jù)，第二虛擬空間錨點的姿態(tài)，以及從用戶移動識別的第一虛擬空間錨點和第二虛擬空間錨點之間的位置關(guān)系。

　　上圖是一個示例環(huán)境100，其中用戶指定的虛擬空間錨點可用于表示關(guān)注點。這種空間錨點可以支持開發(fā)者構(gòu)建空間感知型AR和MR程序，并支持多種移動設備硬件和/或操作系統(tǒng)，例如微軟HoloLens、支持ARKit的iOS設備和支持ARCore的Android設備�？臻g錨點允許開發(fā)者利用增強現(xiàn)實和混合現(xiàn)實平臺感知空間，指定精確的興趣點，并從支持的設備中調(diào)用興趣點。

　　可以看到，用戶110可以使用移動設備112在整個環(huán)境的各種物理世界位置創(chuàng)建空間錨114A、114B、114C、114D等。例如，環(huán)境100可以是包含物理藝術(shù)品的博物館或畫廊，用戶110可以通過向特定藝術(shù)品添加空間錨點來提供虛擬游覽。

　　諸如全息圖之類的虛擬內(nèi)容可以與空間錨點關(guān)聯(lián)。用戶110和其他用戶120、130和140可以通過各自的移動設備查看所述虛擬內(nèi)容。在這個示例中，用戶110正在操作手持移動設備，而用戶120、130和140正在佩戴頭戴式顯示器設備。

　　虛擬內(nèi)容可以位于空間錨點的位置或稍有偏移。例如，圖示為星形的任意虛擬內(nèi)容116A位于與其相關(guān)聯(lián)的空間錨點114A處。作為另一示例，虛擬內(nèi)容116B與相關(guān)聯(lián)的空間錨點114B偏移。

　　另外或可選地，當在距離空間錨的閾值范圍內(nèi)，可經(jīng)由移動設備自動播放的音頻內(nèi)容。例如，音頻內(nèi)容可以包括提供物理對象描述的人聲，例如對于空間錨點114B，音頻內(nèi)容可以是“這是15世紀的花瓶”。

　　在一個示例中，用戶可以通過攝像頭對物理環(huán)境成像，并定義空間錨點相對于攝像頭捕獲的特征的位置和/或方向，從而創(chuàng)建空間錨點。一旦已經(jīng)定義了空間錨點的位置和/或方向，就可以相對于所述空間錨點來定義虛擬內(nèi)容的位置和/或方向。

　　由于空間錨點可以與物理環(huán)境中的特征相關(guān)聯(lián)，所以用戶在增強現(xiàn)實或混合現(xiàn)實環(huán)境中無法感知駐留在移動設備攝像頭視圖之外的空間錨點或其虛擬內(nèi)容。

　　例如，工廠可以在應用程序涉及的每個位置放置空間錨。移動設備有助于引導工人從一個位置移動到下一個位置。移動設備可以聯(lián)系基于云的服務，并首先請求位于工人附近的空間錨點，然后逐步將工人引導到下一個位置。移動設備可以顯示視覺指示器，指示完成任務的下一個位置的大致方向和距離。

　　另一個示例是，博物館為公共展示品創(chuàng)建對應的空間錨點，而這一系列的錨點共同創(chuàng)建博物館的特定AR游覽。當游客參觀一個公共展覽品時，他們可以在移動設備打開博物館的混合現(xiàn)實/增強現(xiàn)實應用程序。然后，他們可以將手機指向周圍的空間，并通過攝像頭輸入查看其他公共展覽品的大致方向和距離，從而幫助引導用戶走向下一個公共展覽品。

　　圖2是描繪用于創(chuàng)建彼此連接的空間錨點的示例方法流程圖。在一個示例中，方法200由計算設備或計算系統(tǒng)執(zhí)行，例如移動設備和頭戴式設備等。在這個示例中，移動設備由用戶操作以創(chuàng)建空間錨點。

　　在210，所述方法包括經(jīng)由移動設備的攝像頭捕捉對第一物理世界位置成像的第一圖像數(shù)據(jù)。在示例中，攝像頭是可見光攝像頭(例如，RGB攝像頭)。在另一示例中，可以使用兩個或多個攝像頭來捕獲圖像數(shù)據(jù)，包括可見光照攝像頭和深度照攝像頭。

　　在212，所述方法包括基于第一圖像數(shù)據(jù)創(chuàng)建第一物理世界位置的第一空間表示。在一個示例中，第一空間表示可以采用根據(jù)圖像數(shù)據(jù)確定的稀疏點云形式。稀疏點云的點可以具有相對于移動設備或其攝像頭定義的位置和/或方向值。在其他示例中，可以提供任何其他合適的圖像數(shù)據(jù)，例如由機載深度圖像傳感器捕獲的第一深度圖像數(shù)據(jù)。

　　在特定場景中，用戶可以將全息圖或其他虛擬內(nèi)容與空間錨點關(guān)聯(lián)。例如在216，所述方法包括接收定義第一全息圖相對于第一虛擬空間錨點的姿態(tài)的用戶輸入。第一虛擬全息圖的姿態(tài)可定義相對于第一虛擬空間錨點的六自由度位置和/或方向。

　　在218，所述方法包括從移動設備向網(wǎng)絡可訪問服務發(fā)送表示第一空間表示、第一虛擬空間錨點的姿態(tài)、第一全息圖的姿態(tài)(如果定義)和一個或多個第一全息圖和/或第一全息圖的標識符(如果定義)的數(shù)據(jù)。網(wǎng)絡可訪問服務將此數(shù)據(jù)存儲在關(guān)系圖中，移動設備可通過多個會話和其他設備訪問該關(guān)系圖。網(wǎng)絡可訪問服務可以托管在一個或多個遠程計算設備上，例如服務器系統(tǒng)。

　　用戶可以在物理世界中創(chuàng)建任意數(shù)量的空間錨，并且可以將任意數(shù)量的全息圖與特定空間錨點關(guān)聯(lián)。例如，在創(chuàng)建第一虛擬空間錨之后，用戶可以隨移動設備移動到第二物理世界位置以創(chuàng)建第二虛擬空間錨。

　　在220，所述方法包括追蹤移動設備從第一物理世界位置到或朝向第二物理世界位置的移動，以捕獲追蹤數(shù)據(jù)。追蹤數(shù)據(jù)描述移動設備在六自由度空間的第一和第二物理世界位置之間的移動�？苫�于從一個或多個傳感器獲得的傳感器數(shù)據(jù)來追蹤移動設備的移動。移動設備可使用多個不同類型傳感器的傳感器融合來追蹤其在位置之間的移動。

　　在222，所述方法包括經(jīng)由移動設備的照攝像頭捕捉第二物理世界位置的第二圖像數(shù)據(jù)。在224，所述方法包括基于第二圖像數(shù)據(jù)創(chuàng)建第二物理世界位置的第二空間表示。例如，第二空間表示可以采用稀疏點云的形式�？梢蕴峁┤魏纹渌�合適的圖像數(shù)據(jù)，例如由機載深度圖像傳感器捕獲的第二深度圖像數(shù)據(jù)。

　　在226，所述方法包括接收定義第二空間表示內(nèi)的第二虛擬空間錨點的姿態(tài)的用戶輸入。可以相對于在第二圖像數(shù)據(jù)中成像的物理世界的特征來定義第二虛擬空間錨點的姿態(tài)。在228，所述方法包括基于第一虛擬空間錨點和第二虛擬空間錨點各自的姿態(tài)和追蹤數(shù)據(jù)來確定它們之間的空間關(guān)系。

　　在232，所述方法包括從移動設備向網(wǎng)絡可訪問服務發(fā)送表示第二空間表示的數(shù)據(jù)、第二虛擬空間錨的姿態(tài)、第二全息圖的姿態(tài)(如果有)、一個或多個第二全息圖和/或第二全息圖的標識符(如果定義)，追蹤數(shù)據(jù)描述移動設備在第一和第二物理世界位置之間的移動，以及第一和第二虛擬空間錨點之間的空間關(guān)系。網(wǎng)絡可訪問服務將該數(shù)據(jù)存儲在關(guān)系圖中，其中存儲了表示第一空間表示、第一虛擬空間錨點的姿態(tài)和第一全息圖(如果有)的姿態(tài)的數(shù)據(jù)。

　　名為“Connecting spatial anchors for augmented reality”的微軟專利申請最初在2021年4月提交，并在日前由美國專利商標局公布。