微軟專利探索提升HoloLens 2協(xié)作遠程用戶的沉浸式體驗

　　諸如微軟HoloLens2這樣的混合現(xiàn)實可以為遠程用戶提供沉浸式第一視角，并通過語音和圖像疊加等方式來提供協(xié)作支持。這種系統(tǒng)可用于醫(yī)療，教學(xué)和維修維護等場景。隨著技術(shù)的發(fā)展，有必要進一步提高遠程用戶的沉浸感，營造一種允許遠程用戶仿佛置身于本地環(huán)境中的氛圍，從而進一步提高協(xié)作體驗。

　　在名為”Mixed reality environment display using surface reconstruction mesh and live video overlay“的專利申請中，微軟介紹了一種用于支持遠程混合現(xiàn)實設(shè)備用戶結(jié)合3D表面重建(SR)網(wǎng)格數(shù)據(jù)和實時視頻數(shù)據(jù)來查看本地MR設(shè)備環(huán)境的方法。遠程用戶同時能夠向本地MR設(shè)備的用戶提供反饋，包括基于音頻的反饋。

　　在一個實施例中，可以結(jié)合使用SR網(wǎng)格數(shù)據(jù)和攝影測量技術(shù)來生成與本地環(huán)境密切匹配的3D空間，然后將本地環(huán)境的實時視頻饋電疊加在生成的3D空間。這種混合虛擬現(xiàn)實體驗可以允許遠程用戶完全沉浸在相同的環(huán)境之中。

　　另外，實時視頻饋送提供3D數(shù)據(jù)，使得實時視頻饋送能夠緊密貼合虛擬環(huán)境的3D SR網(wǎng)格，而不僅僅是顯示二維視頻。

　　圖1示出了配置為向遠程設(shè)備106提供實時視頻數(shù)據(jù)流118，以支持遠程位置的用戶能夠查看環(huán)境108的系統(tǒng)100。其中，本地MR設(shè)備102捕獲環(huán)境108的光學(xué)數(shù)據(jù)，并通過網(wǎng)絡(luò)104將所獲得的數(shù)據(jù)流式傳輸給遠程MR設(shè)備106，遠程MR設(shè)備106使用所述流式數(shù)據(jù)向遠程用戶顯示表面重建(SR)網(wǎng)格環(huán)境顯示120。

　　MR設(shè)備102包括攝像頭或其他光學(xué)捕獲接口或設(shè)備，并用于捕獲代表用戶正在查看的環(huán)境108中的區(qū)域的光學(xué)數(shù)據(jù)。MR設(shè)備102進一步包括深度傳感器，從而捕獲與光學(xué)數(shù)據(jù)相關(guān)聯(lián)的景深信息。在這樣的示例中，MR設(shè)備102使用景深信息來識別表面的相對位置并生成SR網(wǎng)格數(shù)據(jù)。

　　遠程MR設(shè)備106包括以與上述本地MR設(shè)備102相同的方式配置的硬件、固件和/或軟件。MR設(shè)備106包括用于檢測位置、方向和/或移動的組件，例如一個或多個加速度計。

　　在一個實施例中，環(huán)境108包括多個不同的表面。例如，環(huán)境108可以包括手術(shù)室。

　　可以通過本地MR設(shè)備102捕獲環(huán)境108中表面的位置，捕獲與環(huán)境108相關(guān)的光學(xué)數(shù)據(jù)包括捕獲表面的位置、表面的位置、表面的紋理、表面的顏色、表面的攝影測量數(shù)據(jù)等。

　　患者110和窗口區(qū)域112位于環(huán)境108中，并且患者110在整個手術(shù)或過程中趨向于保持靜止。當患者110在環(huán)境108中就位時，與患者110的表面相關(guān)聯(lián)的光學(xué)數(shù)據(jù)由本地MR設(shè)備102和/或其他光學(xué)捕獲組件捕獲。

　　環(huán)境中的窗口區(qū)域112定義為捕獲實時視頻數(shù)據(jù)118并將其提供給遠程MR設(shè)備106的區(qū)域。窗口區(qū)域112可以是相對于患者110區(qū)域定義的靜態(tài)區(qū)域�；蛘�，窗口區(qū)域112可以是動態(tài)的，并且區(qū)域112位置可以由本地MR設(shè)備102的用戶、遠程MR設(shè)備106的用戶和/或另一方或?qū)嶓w來調(diào)整。

　　窗口區(qū)域112包括多個光學(xué)捕獲組件的視場，從而允許遠程MR設(shè)備106的用戶查看患者110的區(qū)域。在這樣的示例中，多個光學(xué)捕獲組件的捕獲視場可以組合，使得遠程MR設(shè)備106的用戶在查看虛擬SR網(wǎng)格環(huán)境顯示時可以在視場之間基本無縫切換。

　　例如，如果窗口區(qū)域112包括懸掛在患者110上方的兩個靜態(tài)攝像頭的視場，這時可以根據(jù)他們正在查看患者的具體位置，向遠程MR設(shè)備106的用戶提供兩個靜態(tài)攝像頭之一的實時視頻饋送。

　　當用戶轉(zhuǎn)動其頭部或以其他方式調(diào)整其視場以查看患者的其他位置時，可以提供另一個攝像頭的實時視頻饋送。

　　可選地，環(huán)境108包括一個或多個攝像頭，并可由遠程MR設(shè)備106的用戶控制，使得用戶能夠改變攝像頭的視場，從而在其實時視頻饋送中看到所需的患者部分。

　　數(shù)據(jù)流114由本地MR設(shè)備102通過網(wǎng)絡(luò)104提供給遠程MR設(shè)備106。數(shù)據(jù)流114包括SR網(wǎng)格數(shù)據(jù)116和視頻數(shù)據(jù)118。

　　SR網(wǎng)格數(shù)據(jù)116包括環(huán)境108的光學(xué)數(shù)據(jù)，以及基于所述光學(xué)數(shù)據(jù)指示環(huán)境中表面位置的數(shù)據(jù)。在一個實施例中，可以利用攝影測量技術(shù)從光學(xué)數(shù)據(jù)中提取環(huán)境的三維表面數(shù)據(jù)并生成SR網(wǎng)格數(shù)據(jù)116。

　　SR網(wǎng)格數(shù)據(jù)116包括表示環(huán)境三維空間中點的網(wǎng)格的數(shù)據(jù)，其中點和點之間的連接表示環(huán)境中表面的位置。另外，所述點在三維空間中的位置是根據(jù)捕獲的光學(xué)數(shù)據(jù)確定。

　　在一個實施例中，SR網(wǎng)格數(shù)據(jù)116是基于由本地MR設(shè)備102或其他光學(xué)捕獲組件從環(huán)境捕獲的光學(xué)數(shù)據(jù)生成。另外，SR網(wǎng)格數(shù)據(jù)116包括疊加在SR網(wǎng)格的圖像數(shù)據(jù)。在這樣的例子中，從環(huán)境中捕獲的光學(xué)數(shù)據(jù)轉(zhuǎn)換成圖像，并排列在SR網(wǎng)格的位置，使得SR網(wǎng)格以一定程度的精度提供環(huán)境中每個表面的攝影外觀。

　　SR網(wǎng)格數(shù)據(jù)116由遠程MR設(shè)備106用于向設(shè)備106的用戶顯示SR網(wǎng)格環(huán)境顯示120。所顯示的SR網(wǎng)格環(huán)境顯示器120是具有多個定位表面的3D虛擬環(huán)境，從而使得虛擬環(huán)境看起來與本地MR設(shè)備102的環(huán)境108基本相同。

　　在初始時間間隔內(nèi)捕獲用于生成SR網(wǎng)格數(shù)據(jù)116的光學(xué)數(shù)據(jù)，生成SR網(wǎng)格數(shù)據(jù)116并提供給遠程MR設(shè)備106。SR網(wǎng)格數(shù)據(jù)116生成后，開始捕獲視頻直播饋送的視頻數(shù)據(jù)118并提供給遠程MR設(shè)備106。

　　在這樣的例子中，SR網(wǎng)格數(shù)據(jù)116保持靜態(tài)。或者，在使用實時視頻饋送期間偶爾更新SR網(wǎng)格數(shù)據(jù)116以反映環(huán)境108中的任何實質(zhì)性變化。

　　數(shù)據(jù)流114的視頻數(shù)據(jù)118包括與本文所述的窗口區(qū)域112相關(guān)聯(lián)的實時視頻饋送或流的視頻數(shù)據(jù)。視頻數(shù)據(jù)118由本地MR設(shè)備102的光學(xué)捕獲組件捕獲和/或視頻數(shù)據(jù)118包括本地MR設(shè)備102用戶視場的視頻數(shù)據(jù)。

　　另外，對于視頻數(shù)據(jù)118和/或數(shù)據(jù)流114包括3D位置數(shù)據(jù)和/或其他3D元數(shù)據(jù)，其可由遠程MR設(shè)備106用于向設(shè)備106的用戶提供相對于SR網(wǎng)格環(huán)境顯示120的適當視場。

　　所述位置數(shù)據(jù)和其他元數(shù)據(jù)用于將視頻數(shù)據(jù)118與SR網(wǎng)格數(shù)據(jù)116同步，從而在與所述環(huán)境108中的區(qū)域窗口112的位置相匹配的環(huán)境顯示器120的位置向設(shè)備106用戶顯示所述實時視頻饋送。

　　因此，設(shè)備106顯示環(huán)境顯示120，并將實時視頻饋送的視頻數(shù)據(jù)118疊加在環(huán)境顯示器120的窗口區(qū)域124。所以，實時視頻饋送參照環(huán)境顯示120的表面發(fā)生。例如，在環(huán)境顯示器120的窗口區(qū)域124中的患者網(wǎng)格122的虛擬表示之上，可以顯示發(fā)生在患者110腹部的手術(shù)的實時視頻饋送。

　　另外，反饋數(shù)據(jù)126通過網(wǎng)絡(luò)104從遠程MR設(shè)備106提供給本地MR設(shè)備102。反饋數(shù)據(jù)126包括音頻數(shù)據(jù)128或其他相關(guān)數(shù)據(jù)。音頻數(shù)據(jù)128包括遠程MR設(shè)備106的用戶的口頭陳述，以播放給本地MR設(shè)備102的用戶。

　　同時，本地MR設(shè)備102允許用戶將音頻數(shù)據(jù)從設(shè)備102發(fā)送到遠程MR設(shè)備106，以便向設(shè)備106的用戶播放。這樣，設(shè)備102和106的用戶能夠相互交談。

　　除了SR網(wǎng)格數(shù)據(jù)和視頻數(shù)據(jù)外，其他類型的可視數(shù)據(jù)可以發(fā)送到遠程設(shè)備106和/或顯示給本地MR設(shè)備102的用戶。

　　例如，對患者身體部分的其他醫(yī)學(xué)掃描顯示為疊加在患者的SR網(wǎng)格表示之上，比如說患者手臂的x射線掃描顯示骨折。通過疊加在患者手臂的SR網(wǎng)格表示上，這樣就可以很容易地在SR網(wǎng)格表示定位骨折的位置。

　　圖2示出包括本地MR設(shè)備202的系統(tǒng)200的框圖。

　　光學(xué)捕獲接口234包括用于捕獲環(huán)境的光學(xué)數(shù)據(jù)的硬件、固件和/或軟件。光學(xué)數(shù)據(jù)232包括用于生成SR網(wǎng)格的SR網(wǎng)格數(shù)據(jù)240。

　　實時視頻窗口位置管理器244配置為存儲和維護環(huán)境中的實時視頻窗口的位置、邊界和/或其他特征。

　　現(xiàn)場視頻窗口位置管理器244過濾來自現(xiàn)場視頻數(shù)據(jù)242的光學(xué)數(shù)據(jù)，以確保通過網(wǎng)絡(luò)204發(fā)送到遠程MR設(shè)備的實時視頻數(shù)據(jù)242在其視角看來具有意義。

　　視點檢測器246配置為檢測設(shè)備202和相關(guān)光學(xué)捕獲接口234的當前位置和/或方向，特別是相對于諸如圖1的環(huán)境108的環(huán)境。

　　本地MR設(shè)備202通過網(wǎng)絡(luò)接口236接收來自網(wǎng)絡(luò)204的反饋數(shù)據(jù)226。

　　圖3示出遠程MR設(shè)備306的系統(tǒng)300。

　　在一個實施例中，數(shù)據(jù)流314包括從本地MR設(shè)備提供的SR網(wǎng)格數(shù)據(jù)340和/或?qū)崟r視頻數(shù)據(jù)344。例如，在過程的初始階段提供SR網(wǎng)格數(shù)據(jù)340，然后在接收SR網(wǎng)格數(shù)據(jù)340之后提供實時視頻數(shù)據(jù)342，并使遠程MR設(shè)備306能夠生成虛擬SR網(wǎng)格環(huán)境。

　　另外，將SR網(wǎng)格數(shù)據(jù)340和實時視頻數(shù)據(jù)342組合成組合環(huán)境視圖數(shù)據(jù)352，然后通過MR顯示接口350將其顯示給設(shè)備306的用戶。

　　視點檢測器354相當于圖2中的視點檢測器246，其配置為檢測遠程MR設(shè)備306的位置和方向，包括其相對于所生成的虛擬SR網(wǎng)格環(huán)境的位置和方向。所述視點探測器354提供的位置和方向信息與所述組合環(huán)境視圖數(shù)據(jù)352一起使用，以顯示基于所述設(shè)備306的位置和方向的虛擬SR網(wǎng)格環(huán)境的視場。

　　隨著設(shè)備306的位置和方向的變化，顯示的視圖可以改變，從而對應(yīng)于位置和方向的變化。

　　遠程MR設(shè)備306包括用戶輸入接口356。所述用戶輸入接口356使得所述設(shè)備306的用戶能夠生成用戶輸入數(shù)據(jù)，并將所述用戶輸入數(shù)據(jù)作為反饋數(shù)據(jù)326通過所述網(wǎng)絡(luò)接口348發(fā)送到所述網(wǎng)絡(luò)304的本地MR設(shè)備。

　　可選地，用戶輸入接口356包括麥克風(fēng)或其他音頻捕獲接口，使得設(shè)備306的用戶能夠捕獲語音或其他音頻數(shù)據(jù)以作為反饋數(shù)據(jù)326發(fā)送到本地MR設(shè)備。

　　圖4示出用于向遠程設(shè)備提供組合的SR網(wǎng)格數(shù)據(jù)和實時視頻數(shù)據(jù)，以使遠程設(shè)備能夠顯示MR環(huán)境。

　　在402，獲得環(huán)境表面的3D SR網(wǎng)格。3D SR網(wǎng)格包括一系列位于3D空間中的點，而點相互連接，以表示環(huán)境的3D表面。

　　在404，所獲得的3D SR網(wǎng)格提供給遠程設(shè)備顯示。

　　在406，由本地MR設(shè)備獲得環(huán)境窗口區(qū)域的實時視頻饋送。實時視頻饋送包括與本文所述環(huán)境的特定窗口區(qū)域相關(guān)聯(lián)的視頻數(shù)據(jù)。

　　在408，窗口區(qū)域的實時視頻饋送由遠程設(shè)備提供在3D SR網(wǎng)格上顯示。

　　圖5示出的計算機化方法500的用于向遠程設(shè)備提供組合的SR網(wǎng)格數(shù)據(jù)和實時視頻數(shù)據(jù)，以使遠程設(shè)備能夠顯示MR環(huán)境，并根據(jù)所提供的SR網(wǎng)格數(shù)據(jù)和實時視頻數(shù)據(jù)從遠程設(shè)備接收反饋數(shù)據(jù)。

　　在502，由本地MR設(shè)備獲得環(huán)境表面的光學(xué)數(shù)據(jù)。

　　在504，使用攝影測量從獲得的光學(xué)數(shù)據(jù)生成表面的3D SR網(wǎng)格。

　　在506，生成的3D SR網(wǎng)格由遠程設(shè)備提供顯示。

　　在508，獲得所述環(huán)境的窗口區(qū)域的實時視頻饋送。

　　在510，提供所述窗口區(qū)域的實時視頻饋送以供遠程設(shè)備在3D SR網(wǎng)格上顯示。

　　在512，從遠程設(shè)備接收反饋數(shù)據(jù)。

　　在514，將接收到的反饋數(shù)據(jù)提供給本地MR設(shè)備的用戶。

　　方法500進一步包括通過本地MR設(shè)備的可視界面向本地MR設(shè)備的用戶顯示與實時視頻饋送相關(guān)聯(lián)的窗口區(qū)域的位置。

　　另外，獲取窗口區(qū)域的實時視頻饋送包括從至少一個與本地MR設(shè)備分離的本地光捕獲設(shè)備獲取實時視頻饋送。實時視頻饋送包括來自多個本地光捕獲設(shè)備的多個實時視頻饋送。

　　名為”Mixed reality environment display using surface reconstruction mesh and live video overlay“的微軟專利申請最初在2022年2月提交，并在日前由美國專利商標局公布。