微軟專利介紹不同位置用戶共享虛擬內(nèi)容的MR協(xié)作方法

　　對于混合現(xiàn)實，一個重要的用例是遠程協(xié)作。但是，如果遠程位置的人們通過MR頭顯來共享內(nèi)容并與內(nèi)容交互，真實空間和/或虛擬對象之間的差異可能會帶來挑戰(zhàn)。在名為“Remote collaborations with volumetric space indications”的專利申請中，微軟介紹了一種相關(guān)的MR協(xié)作方法。

　　以圖1和2為例，起居室108和公寓118中的真實世界對象不同，并且布置在不同的位置，所以與兩個空間中共享的全息圖協(xié)作可能會帶來挑戰(zhàn)。例如，如果女性用戶104共享全息圖，并將其顯示在男性用戶114的公寓118中靠近壁掛式顯示器126的地板，則男性用戶114的全息圖視圖可能會被桌子130遮擋。

　　另外，桌子130可能會對男性用戶114接近全息圖和/或與全息圖交互造成物理障礙，并且可能會造成碰撞危險。在其他示例中，兩個或多個用戶希望以協(xié)作方式共享虛擬圖像，因此在不同環(huán)境中顯示圖像具有挑戰(zhàn)性。

　　微軟的發(fā)明主要介紹了用于支持不同位置用戶共享虛擬內(nèi)容的方法。簡單來說，當(dāng)兩臺通信設(shè)備判斷兩面用戶前方的空間都不存在任何物理和虛擬對象時，則可在前方空間顯示協(xié)作全息內(nèi)容。

　　在一個示例中，計算設(shè)備接收第一環(huán)境的第一空間映射和第二環(huán)境的第二空間映射。計算設(shè)備確定第一環(huán)境中的第一體三維空間滿足至少一個協(xié)作標準，并且第二環(huán)境中的第二體三維空間滿足協(xié)作標準�；�于確定所述第一體三維空間和所述第二體三維空間各自滿足所述至少一個協(xié)作準則，所述計算設(shè)備使得所述第一體三維空間的指示由所述第一環(huán)境中的第一顯示設(shè)備顯示，以及第二體三維空間的指示由第二環(huán)境中的第二顯示設(shè)備顯示。

　　再次參考圖1A和1B，在一個示例中，女性用戶104的頭顯設(shè)備110可以接收其起居室108的第一空間映射。頭顯設(shè)備110中的一個或多個圖像傳感器可以收集圖像數(shù)據(jù)(深度數(shù)據(jù)和/或可見光數(shù)據(jù))。使用所述數(shù)據(jù)，頭顯設(shè)備110可以生成三維空間映射，所述三維空間映射包括起居室108中真實世界表面的表面重建和/或其他深度映射。

　　例如，空間映射可以包括眾多空間曲面，表示為附加到世界鎖定的空間坐標系的三角形網(wǎng)格。在其他示例中，起居室108的圖像數(shù)據(jù)可以由一個或多個其他圖像傳感器收集，例如安裝在房間中固定位置的攝像頭。在這些示例中，頭顯設(shè)備110經(jīng)由網(wǎng)絡(luò)直接從圖像傳感器和/或中間計算設(shè)備(例如邊緣計算設(shè)備)接收圖像數(shù)據(jù)。

　　使用起居室108的三維空間映射，頭顯設(shè)備110確定起居室內(nèi)適于與另一遠程用戶協(xié)作的體三維空間。在一個示例中，頭顯設(shè)備110確定候選體三維空間是否滿足一個或多個協(xié)作標準。在一個示例中，協(xié)作標準包括確定候選體三維空間中不存在對象。換言之，頭顯設(shè)備110確定候選體三維空間是否沒有任何真實世界和/或顯示的虛擬對象。如果確定體三維空間滿足協(xié)作標準，則頭顯設(shè)備110向用戶顯示第一體三維空間的指示。

　　回到圖1A，在這個示例中，頭顯設(shè)備110確定包含在虛線勾勒的矩形體積內(nèi)的體積空間134滿足候選體三維空間中沒有對象的協(xié)作準則。所以，頭顯設(shè)備110可以向女性用戶104顯示體三維空間的輪廓138，從而提供體三維空間134的指示。在其他示例中，可顯示體三維空間134的任何其他適當(dāng)指示，例如通過略微著色或高亮顯示體積等等。另外在其他示例中，可使用體三維空間的任何適當(dāng)形狀或幾何體，包括其他平面，彎曲和/或不規(guī)則表面。

　　通過這種方式，虛擬內(nèi)容(例如從另一個用戶共享并在體三維空間134內(nèi)顯示的全息圖)不會被起居室108中的任何物理或虛擬對象遮擋。另外，在與另一遠程用戶協(xié)作期間，女性用戶104可以在體三維空間134周圍自由移動，而不用擔(dān)心撞到任何物理對象。體三維空間134的輪廓138同時可以顯示在相對于起居室108的固定位置。以這種方式，系統(tǒng)可以為與遠程用戶的協(xié)作提供一致且固定的空間量。

　　下面可以以類似方式參考圖1B，男性用戶114的頭顯設(shè)備122確定包含在虛線勾勒的矩形體積內(nèi)的體三維空間142滿足空間內(nèi)沒有對象的協(xié)作標準。所以，他的頭顯設(shè)備122以空間輪廓146的形式向其顯示體三維空間142的指示。以這種方式，可以容易且方便地生成無障礙物體三維空間，從而促進他們與虛擬內(nèi)容的協(xié)作共享和交互。

　　在一個示例中，參考圖2A和2B，女性用戶104的頭顯設(shè)備110可以在體三維空間134內(nèi)顯示全息圖150。頭顯設(shè)備110生成空間坐標系，例如笛卡爾坐標系，以對客廳108中的真實世界對象和渲染虛擬內(nèi)容的位置和方向進行推理。這樣的坐標系建立3個垂直的X、Y和Z軸，其用于定位和定位對象。

　　在圖2A中，全息圖150顯示在相對于由X-Y-Z軸指示的空間坐標系的原點154的指定位置。盡管在本示例中原點154位于體三維空間134內(nèi)，但在其他示例中，原點可位于房間108的其他位置。

　　轉(zhuǎn)到圖2B，男性用戶114的頭顯設(shè)備122生成具有原點160的空間坐標系，以定位和定向公寓118中的真實世界對象和渲染的虛擬內(nèi)容。在一個示例中，在與女性用戶104的頭顯設(shè)備110建立協(xié)作關(guān)系時，與頭顯設(shè)備110相關(guān)聯(lián)的原點154和與頭顯設(shè)備122相關(guān)聯(lián)的原點160可用作公共原點，共享全息圖由每個頭顯設(shè)備在相對于各自原點的相同指定位置顯示。

　　在一個示例中，當(dāng)女性用戶104的頭顯設(shè)備110在其房間內(nèi)相對于原點154的指定位置顯示邪惡香蕉全息圖150，且女性用戶與男性用戶共享全息圖時，男性用戶114的頭顯設(shè)備122會在其公寓118中相對于原點160的相同指定位置自動顯示所述全息圖。在所述示例中，同時在每個體三維空間中顯示遠程用戶的虛擬化身。在圖2A中，男性用戶的虛擬化身158顯示在相對于原點154的位置，所述位置與男性用戶在其公寓118中相對于原點160的真實世界位置相同。

　　類似地，在圖2B中，女性用戶的虛擬化身162顯示在相對于原點160的位置，所述位置與其在其起居室108中相對于原點154的真實世界位置相同。以這種方式，女性用戶104和男性用戶114都可以在各自的真實世界環(huán)境中移動，同時實時準確地感知另一個人的虛擬化身相對于共享全息圖150的相應(yīng)移動。

　　在圖2A和2B中，體三維空間134和142各自具有基本相同的體積。以這種方式，女性用戶104和男性用戶114都可以在公共空間內(nèi)體驗協(xié)作。在其他示例中，不同位置的不同體三維空間在協(xié)作期間可以具有不同的體積。

　　在上述示例中，用于確定、生成和顯示體三維空間和虛擬內(nèi)容的技術(shù)和過程由通過網(wǎng)絡(luò)通信耦合的頭顯設(shè)備110和122本地執(zhí)行。在一個示例中，所述功能中的一個或多個可由一個或多個其他計算設(shè)備通過云服務(wù)或使用其他合適的計算設(shè)備來執(zhí)行，例如一個或多個獨立或邊緣計算設(shè)備。

　　通過這種方式，可以輕松方便地生成并向男性用戶顯示沒有虛擬對象和其他虛擬障礙物的體三維空間。女性用戶104現(xiàn)在可以與男性用戶共享協(xié)作香蕉全息圖150，并且所述全息圖由男性用戶的頭顯設(shè)備在體三維空間204內(nèi)顯示。

　　名為“Remote collaborations with volumetric space indications”的微軟專利申請最初在2021年8月提交，并在日前由美國專利商標局公布。