微軟專利分享用HoloLens 2重新定位物聯(lián)網(wǎng)設(shè)備 構(gòu)建AR/VR與IoT連接

　　計(jì)算機(jī)和計(jì)算系統(tǒng)幾乎影響了現(xiàn)代生活的方方面面。例如，計(jì)算機(jī)通常涉及工作、娛樂、醫(yī)療保健、交通和娛樂，而甚至家庭和商業(yè)經(jīng)營(yíng)現(xiàn)在都可以利用計(jì)算機(jī)，比如說借助物聯(lián)網(wǎng)(IOT)設(shè)備。

　　事實(shí)上，物聯(lián)網(wǎng)設(shè)備正變得越來越普遍，據(jù)估全球有數(shù)十億臺(tái)。隨著物聯(lián)網(wǎng)設(shè)備的廣泛普及，跟蹤和監(jiān)控所述物聯(lián)網(wǎng)設(shè)備在環(huán)境中的位置變得越來越必要，但同時(shí)越來越困難。例如，眾多物聯(lián)網(wǎng)設(shè)備易于攜帶，可以相對(duì)輕松地從一個(gè)位置移動(dòng)到另一個(gè)位置，而由于其便攜性，一般很難跟蹤和監(jiān)控物聯(lián)網(wǎng)設(shè)備的位置，以及它們監(jiān)控的條件或狀態(tài)或狀態(tài)。所以，存在改善物聯(lián)網(wǎng)設(shè)備“重新定位”的實(shí)質(zhì)性需求

　　在早前一份名為“Dynamically changing a fiducial marker for iot device identification”的專利申請(qǐng)中，微軟就介紹了一種支持MR頭顯來有效識(shí)別和定位物聯(lián)網(wǎng)設(shè)備的方法。日前，美國(guó)專利商標(biāo)局又公布了一份類似與MR頭顯+IOT設(shè)備相關(guān)的發(fā)明。

　　延伸閱讀：微軟專利分享如何用HoloLens 2識(shí)別物聯(lián)網(wǎng)設(shè)備，構(gòu)建AR/VR與AIoT的連接

　　“Mapping sensor data using a mixed-reality cloud”主要描述了一種用于重新定位物聯(lián)網(wǎng)設(shè)備的改進(jìn)技術(shù)。

　　在一個(gè)實(shí)施例中，接收以數(shù)字方式表示由物聯(lián)網(wǎng)(IOT)設(shè)備監(jiān)控的一個(gè)或多個(gè)條件的傳感器數(shù)據(jù)。作為響應(yīng)，訪問傳感器讀數(shù)映射，其中所述映射與物聯(lián)網(wǎng)設(shè)備相關(guān)聯(lián)。映射同時(shí)以數(shù)字方式表示物聯(lián)網(wǎng)設(shè)備的環(huán)境，并且包括表示物聯(lián)網(wǎng)設(shè)備在環(huán)境中的位置的數(shù)據(jù)。映射同時(shí)包括表示由物聯(lián)網(wǎng)設(shè)備監(jiān)控的條件的數(shù)據(jù)。另外，通過將傳感器數(shù)據(jù)附加到映射來更新映射。

　　在一個(gè)實(shí)施例中，頭戴式設(shè)備接收由物聯(lián)網(wǎng)設(shè)備生成的傳感器數(shù)據(jù)。所述數(shù)據(jù)描述/表示物聯(lián)網(wǎng)設(shè)備在環(huán)境中運(yùn)行時(shí)監(jiān)控的特定條件。頭顯訪問環(huán)境的數(shù)字表示，并將傳感器數(shù)據(jù)與數(shù)字表示相關(guān)聯(lián)。傳感器數(shù)據(jù)用于環(huán)境中的特定區(qū)域。將傳感器數(shù)據(jù)與數(shù)字表示關(guān)聯(lián)的過程包括將傳感器數(shù)據(jù)與對(duì)應(yīng)于特定區(qū)域的數(shù)字表示的一部分關(guān)聯(lián)或鏈接。然后，頭顯呈現(xiàn)虛擬圖像，以可視化傳感器數(shù)據(jù)。頭顯配置為在可穿戴顯示器顯示復(fù)雜的虛擬圖像，并且進(jìn)一步配置為響應(yīng)于任何數(shù)量或類型的非預(yù)期外部刺激來更新虛擬圖像。

　　在一個(gè)實(shí)施例中，服務(wù)器計(jì)算機(jī)系統(tǒng)重新定位物聯(lián)網(wǎng)設(shè)備，并且更新物聯(lián)網(wǎng)設(shè)備的操作覆蓋區(qū)域的映射，以響應(yīng)物聯(lián)網(wǎng)設(shè)備的位置變化。所以，服務(wù)器計(jì)算機(jī)系統(tǒng)接收描述環(huán)境中的物聯(lián)網(wǎng)設(shè)備的第一位置的傳感器數(shù)據(jù)。服務(wù)器確定物聯(lián)網(wǎng)設(shè)備沒有改變位置，并主動(dòng)避免更新記錄物聯(lián)網(wǎng)設(shè)備的操作覆蓋區(qū)域的覆蓋映射。隨后，服務(wù)器接收：描述或數(shù)字表示物聯(lián)網(wǎng)設(shè)備的第二位置;或至少指示物聯(lián)網(wǎng)設(shè)備可能已移動(dòng)的新傳感器數(shù)據(jù)。服務(wù)器將新傳感器數(shù)據(jù)與覆蓋映射進(jìn)行比較，以確定物聯(lián)網(wǎng)設(shè)備已更改位置。服務(wù)器更新覆蓋映射以反映新的第二位置，并確定物聯(lián)網(wǎng)設(shè)備相對(duì)于第二位置的新操作覆蓋區(qū)域。服務(wù)器更新覆蓋映射，以反映新的覆蓋區(qū)域。

　　請(qǐng)注意圖3A和3B。圖3A示出了用于從物聯(lián)網(wǎng)設(shè)備收集傳感器數(shù)據(jù)，并使用傳感器數(shù)據(jù)更新與物聯(lián)網(wǎng)設(shè)備相關(guān)聯(lián)的傳感器讀數(shù)映射的示例方法300。方法300A可以由服務(wù)器執(zhí)行，尤其可以由在服務(wù)器操作的MR服務(wù)執(zhí)行。

　　首先，方法300包括從在環(huán)境中運(yùn)行的物聯(lián)網(wǎng)(IOT)設(shè)備動(dòng)作300A：接收描述由物聯(lián)網(wǎng)設(shè)備監(jiān)控的一個(gè)或多個(gè)條件的傳感器數(shù)據(jù)。傳感器數(shù)據(jù)可以包括來自物聯(lián)網(wǎng)設(shè)備的傳感器的測(cè)量數(shù)據(jù)、來自物聯(lián)網(wǎng)設(shè)備的攝像頭的圖像數(shù)據(jù)，以及來自物聯(lián)網(wǎng)設(shè)備的IMU的IMU數(shù)據(jù)。

　　響應(yīng)于接收傳感器數(shù)據(jù)，方法300包括訪問與IOT設(shè)備相關(guān)聯(lián)的傳感器讀數(shù)映射的動(dòng)作300B。這里，傳感器讀數(shù)映射出環(huán)境，或者更確切地說是數(shù)字表示環(huán)境，并包括代表物聯(lián)網(wǎng)設(shè)備在環(huán)境中的位置的信息。另外，傳感器讀數(shù)映射記錄，或者說包括指示或代表由物聯(lián)網(wǎng)設(shè)備監(jiān)測(cè)的條件的數(shù)據(jù)。

　　然后，方法300包括通過將傳感器數(shù)據(jù)附加、鏈接或以其他方式關(guān)聯(lián)到傳感器讀數(shù)映射來更新傳感器讀數(shù)映射的動(dòng)作300C。通過這種方式，傳感器讀數(shù)映射能夠跟蹤和監(jiān)控物聯(lián)網(wǎng)設(shè)備捕獲的傳感器數(shù)據(jù)。作為更新傳感器讀數(shù)映射以包括傳感器數(shù)據(jù)的結(jié)果，傳感器讀數(shù)映射更新以包括由物聯(lián)網(wǎng)設(shè)備生成的測(cè)量數(shù)據(jù)。另外，作為操作的結(jié)果，服務(wù)器計(jì)算機(jī)系統(tǒng)包括關(guān)于物聯(lián)網(wǎng)設(shè)備的感測(cè)操作條件的更新信息，例如物聯(lián)網(wǎng)設(shè)備感測(cè)的當(dāng)前溫度、當(dāng)前輻射水平、當(dāng)前狀態(tài)或狀態(tài)等。

　　圖4示出了傳感器讀數(shù)映射400的示例，如結(jié)合方法300所述。傳感器讀數(shù)映射400描繪了物聯(lián)網(wǎng)設(shè)備當(dāng)前所在環(huán)境的可視化。具體而言，物聯(lián)網(wǎng)設(shè)備位于具有地板布局405的家庭(或建筑物)內(nèi)，并且傳感器讀數(shù)映射400可以提供地板布局405的視覺描述，即映射的顯示向用戶呈現(xiàn)地板布局的可視化。

　　在這種情況下，樓層布局405包括多個(gè)房間，例如房間A、B、C、D、E、F、G、H、I、J和K。在這里，物聯(lián)網(wǎng)設(shè)備是一個(gè)溫度傳感器，目前位于樓層布局405的房間A中。因此，IOT設(shè)備正在測(cè)量、檢測(cè)或以其他方式觀察房間A的溫度條件、狀態(tài)或參數(shù)。房間A同時(shí)顯示為包括前面描述的蒸煮鍋，但不需要顯示地板布局405。

　　如傳感器讀數(shù)410所示，傳感器讀數(shù)映射400目前提供了房間A中當(dāng)前溫度梯度的視覺描述，即溫度梯度的可視化)。在這里，房間A包括一個(gè)噴出熱蒸汽的鍋125。熱蒸汽導(dǎo)致房間A中出現(xiàn)溫度梯度。溫度梯度在傳感器讀數(shù)圖400中直觀顯示。在更接近鍋125的位置提供更高的溫度。隨著距離鍋125的距離增加，溫度降低。物聯(lián)網(wǎng)設(shè)備能夠監(jiān)控和檢測(cè)房間A中的溫度。通過從物聯(lián)網(wǎng)設(shè)備獲取傳感器數(shù)據(jù)，MR服務(wù)能夠以傳感器讀數(shù)映射圖400的形式繪制，或以其他方式直觀地記錄所述傳感器數(shù)據(jù)。除了IOT設(shè)備的傳感器數(shù)據(jù)的視覺再現(xiàn)之外，傳感器讀數(shù)映射400同時(shí)可以包括詳細(xì)說明傳感器數(shù)據(jù)的數(shù)字和/或文本記錄。因此，可以執(zhí)行圖3A的方法300來生成和/或更新IOT設(shè)備的傳感器讀數(shù)映射。

　　在一個(gè)實(shí)施例中，可以向用戶提供視覺時(shí)間戳或其他指示。例如，假設(shè)第一個(gè)用戶繪制出一個(gè)給定的房間。在這里，可以將時(shí)間戳附加或以其他方式鏈接到房間的掃描數(shù)據(jù)，以指示掃描何時(shí)開始或何時(shí)完成。隨后，當(dāng)?shù)诙�用戶進(jìn)入房間時(shí)，第一次掃描的時(shí)間戳可以直觀地顯示給第二用戶。通過顯示時(shí)間戳，第二用戶可以知曉之前掃描房間的時(shí)間，以及掃描數(shù)據(jù)的新舊程度。新舊程度取決于一系列的因素。例如，掃描具有眾多能夠移動(dòng)對(duì)象的環(huán)境可能只在相對(duì)較短的時(shí)間內(nèi)屬于新數(shù)據(jù)。相比之下，對(duì)于幾乎沒有或根本沒有能夠移動(dòng)對(duì)象的環(huán)境，掃描數(shù)據(jù)可能會(huì)在相對(duì)較長(zhǎng)的時(shí)間內(nèi)屬于新數(shù)據(jù)。所以，新舊程度可能取決于環(huán)境的屬性或特征，包括位于環(huán)境中的對(duì)象。

　　現(xiàn)在轉(zhuǎn)到圖3B，其示出了可由頭顯執(zhí)行示例方法305的流程圖。最初，方法305包括接收由物聯(lián)網(wǎng)設(shè)備生成的傳感器數(shù)據(jù)的動(dòng)作305A。

　　然后，方法305包括動(dòng)作305B，其中頭顯訪問環(huán)境的數(shù)字表示。數(shù)字表示可以是由頭顯本身生成的3D數(shù)字表示。頭顯可以包括任意數(shù)量的掃描傳感器，例如深度攝像頭或其他深度傳感器，并用于繪制環(huán)境的三維幾何形狀、形狀和/或輪廓。生成的映射數(shù)據(jù)可用于生成環(huán)境的三維數(shù)字表示。三維數(shù)字表示可以包括三維表面重建網(wǎng)格、三維點(diǎn)云和/或代表環(huán)境的任何數(shù)量或其他類型的深度映射。

　　接下來，方法305包括將傳感器數(shù)據(jù)與環(huán)境的數(shù)字表示相關(guān)聯(lián)的動(dòng)作305C。值得注意的是，傳感器數(shù)據(jù)與環(huán)境中的特定區(qū)域相關(guān)聯(lián)。參考圖4，傳感器數(shù)據(jù)與包括房間A到K的環(huán)境的地板布局405內(nèi)的房間A相關(guān)聯(lián)。

　　將傳感器數(shù)據(jù)與數(shù)字表示關(guān)聯(lián)包括將傳感器數(shù)據(jù)與對(duì)應(yīng)于特定區(qū)域的數(shù)字表示的一部分關(guān)聯(lián)、鏈接、關(guān)聯(lián)或以其他方式附加。例如，數(shù)字表示可以包括描述來自圖4的樓層布局405的至少房間A的三維數(shù)據(jù)和/或二維數(shù)據(jù)。數(shù)字表示同時(shí)可以描述包括在樓層布局405中的其他房間(即房間B到K)。所以，因?yàn)閿?shù)字表示至少描述了房間A，所以傳感器數(shù)據(jù)可以與專門對(duì)應(yīng)于房間A的數(shù)字表示的數(shù)據(jù)相鏈接或關(guān)聯(lián)。

　　回到圖3B，響應(yīng)于：1.確定頭顯在物理上接近特定區(qū)域;或2.確定由頭顯渲染的場(chǎng)景正在可視化特定區(qū)域，方法305包括在頭顯渲染虛擬圖像的動(dòng)作305D。其中，虛擬圖像代表傳感器數(shù)據(jù)。因此，頭顯可以顯示與物聯(lián)網(wǎng)設(shè)備監(jiān)控的一個(gè)或多個(gè)條件相對(duì)應(yīng)的可視化。圖5中提供了在方法305中執(zhí)行的處理的示例。

　　具體而言，圖5顯示了頭顯500，頭顯500顯示為包括視場(chǎng)505。圖5同時(shí)示出了物聯(lián)網(wǎng)設(shè)備510。在圖中，鍋515將熱蒸汽釋放到房間中。

　　如圖3B的方法305所述，頭顯500已接收到由IOT設(shè)備510生成的傳感器數(shù)據(jù)。傳感器數(shù)據(jù)可以從MR服務(wù)接收，或者傳感器數(shù)據(jù)可以直接從IOT設(shè)備接收，而不經(jīng)過MR服務(wù)。

　　響應(yīng)于從外部物聯(lián)網(wǎng)設(shè)備接收傳感器數(shù)據(jù)，頭顯500隨后呈現(xiàn)與物聯(lián)網(wǎng)設(shè)備510的傳感器讀數(shù)相對(duì)應(yīng)的虛擬圖像520。例如，圖5示出了頭顯500如何呈現(xiàn)罐515周圍的溫度梯度。相對(duì)靠近鍋515的區(qū)域視為更熱(例如虛擬圖像520中較暗的區(qū)域)，而相對(duì)遠(yuǎn)離鍋515的區(qū)域則視為較冷(例如鍋515周圍逐漸變亮的區(qū)域)。因此，頭顯500能夠可視化由IOT設(shè)備510生成的傳感器數(shù)據(jù)，并且可以用于可視化由IOT設(shè)備510監(jiān)控的條件、參數(shù)或因素。

　　在一個(gè)實(shí)施例中，物聯(lián)網(wǎng)設(shè)備以預(yù)定頻率傳輸其傳感器數(shù)據(jù)。頻率的例子可以是每隔幾秒鐘、幾分鐘、幾小時(shí)、幾天、幾周甚至幾個(gè)月。在一個(gè)實(shí)施例中，物聯(lián)網(wǎng)設(shè)備根據(jù)一個(gè)或多個(gè)觸發(fā)條件傳輸其傳感器數(shù)據(jù)。觸發(fā)條件可包括檢測(cè)其監(jiān)測(cè)條件之一發(fā)生變化。例如，物聯(lián)網(wǎng)設(shè)備可配置為連續(xù)或周期性地獲取傳感器數(shù)據(jù)。傳感器數(shù)據(jù)可以存儲(chǔ)在物聯(lián)網(wǎng)設(shè)備的緩沖區(qū)、緩存或內(nèi)存中。

　　如果傳感器數(shù)據(jù)的值在一次迭代到另一次迭代(即從一次傳感器數(shù)據(jù)捕獲到另一次傳感器數(shù)據(jù)捕獲)期間沒有變化，則可能不需要將冗余或重復(fù)數(shù)據(jù)傳輸?shù)組R服務(wù)(或頭顯)。所以在一個(gè)實(shí)施例中，物聯(lián)網(wǎng)設(shè)備僅響應(yīng)于其所監(jiān)測(cè)的條件中檢測(cè)到的變化而發(fā)送數(shù)據(jù)。當(dāng)然，條件可以是任何受監(jiān)控的條件。

　　例如，物聯(lián)網(wǎng)設(shè)備可以響應(yīng)溫度、濕度、操作環(huán)境的變化，甚至物聯(lián)網(wǎng)設(shè)備自身位置的變化(例如通過IMU數(shù)據(jù)的變化和/或物聯(lián)網(wǎng)設(shè)備攝像頭捕捉的圖像記錄變化)而傳輸其傳感器數(shù)據(jù)。因此，在至少一個(gè)示例中，可以由MR服務(wù)和/或由頭顯響應(yīng)于IOT設(shè)備的位置變化來接收傳感器數(shù)據(jù)。

　　除了顯示三維虛擬圖像，頭顯500同時(shí)能夠顯示圖4中傳感器讀數(shù)映射400的二維版本。頭顯500可以在視場(chǎng)505內(nèi)同時(shí)顯示傳感器讀數(shù)映射400和虛擬圖像520。例如，傳感器讀數(shù)映射400可以顯示為視場(chǎng)505內(nèi)的迷你映射。

　　可選地，頭顯500可以配置為在顯示傳感器讀數(shù)映射400和虛擬圖像520之間切換，以便在任何時(shí)間僅顯示一個(gè)�？梢皂憫�(yīng)命令(例如語音激活命令、虛擬按鈕操作或物理按鈕操作)來執(zhí)行這兩種可視化之間的切換。

　　名為“Mapping sensor data using a mixed-reality cloud”的微軟專利申請(qǐng)最初在2021年11月提交，并于日前由美國(guó)專利商標(biāo)局公布。