微軟專利為AR/VR介紹一種空間定位設(shè)計(jì)服務(wù)

　　一般來(lái)說(shuō)，定位是指代理嘗試確定其相對(duì)于周圍環(huán)境的位置，例如智能設(shè)備。在各種環(huán)境中識(shí)別和追蹤車輛、機(jī)器人和智能設(shè)備等的位置，從而執(zhí)行其他計(jì)算任務(wù)是一項(xiàng)必要的功能，尤其是當(dāng)GPS不足時(shí)。

　　定位對(duì)于虛擬現(xiàn)實(shí)和混合現(xiàn)實(shí)同樣非常重要。為了正確顯示數(shù)字內(nèi)容，系統(tǒng)需要知曉頭部的位置和方向。定位可能包括一個(gè)或兩個(gè)視覺(jué)和慣性組件。視覺(jué)部分可涉及處理由攝像頭或多個(gè)攝像頭收集的一組圖像，而慣性部分則可包括處理從慣性測(cè)量單元(IMU)收集的數(shù)據(jù)，例如加速計(jì)和陀螺儀傳感器讀數(shù)。所述圖像和數(shù)據(jù)的處理可允許系統(tǒng)計(jì)算由三維坐標(biāo)定義的主機(jī)設(shè)備位置。

　　在名為“Spatial localization design service”的專利申請(qǐng)中，微軟介紹了一種空間定位設(shè)計(jì)服務(wù)。具體來(lái)說(shuō)，發(fā)明描述的技術(shù)使用合成世界接口來(lái)對(duì)數(shù)字環(huán)境、傳感器和運(yùn)動(dòng)建模，以用于評(píng)估和開(kāi)發(fā)定位算法。

　　在一個(gè)實(shí)施例中，傳感器平臺(tái)模擬器與運(yùn)動(dòng)協(xié)調(diào)器、環(huán)境協(xié)調(diào)器、實(shí)驗(yàn)生成器和實(shí)驗(yàn)運(yùn)行器一起運(yùn)行，以在虛擬環(huán)境中測(cè)試各種候選硬件配置和定位算法。

　　微軟指出，通過(guò)測(cè)試給定定位算法的各種候選硬件配置，運(yùn)動(dòng)編排器、環(huán)境編排器和實(shí)驗(yàn)生成器可快速產(chǎn)生相對(duì)大量的數(shù)據(jù)，以確定最佳候選硬件配置，從而有利地加快開(kāi)發(fā)進(jìn)度和降低成本。

　　在一個(gè)實(shí)施例中，傳感器平臺(tái)模擬器可用于模擬包括一個(gè)或多個(gè)虛擬camera的硬件配置。環(huán)境編排器可以模擬一個(gè)或多個(gè)虛擬環(huán)境。運(yùn)動(dòng)編排器可以在一個(gè)或多個(gè)虛擬環(huán)境中模擬一個(gè)或多個(gè)模擬硬件配置的運(yùn)動(dòng)。實(shí)驗(yàn)生成器可以為在一個(gè)或多個(gè)虛擬環(huán)境中具有模擬運(yùn)動(dòng)的一個(gè)或多個(gè)模擬硬件配置生成合成實(shí)驗(yàn)數(shù)據(jù)。實(shí)驗(yàn)運(yùn)行器可以用于迭代實(shí)驗(yàn)生成器以生成用于硬件配置、虛擬環(huán)境、運(yùn)動(dòng)和定位算法的一個(gè)或多個(gè)組合的合成實(shí)驗(yàn)數(shù)據(jù)。

　　在一個(gè)實(shí)施例中，合成實(shí)驗(yàn)數(shù)據(jù)包括合成圖像和IMU數(shù)據(jù)。其中，IMU數(shù)據(jù)包括加速計(jì)數(shù)據(jù)和陀螺儀數(shù)據(jù)。

　　在一個(gè)實(shí)施例中，專利描述的方法包括以下任意組合：實(shí)驗(yàn)生成器進(jìn)一步根據(jù)合成實(shí)驗(yàn)數(shù)據(jù)計(jì)算一個(gè)或多個(gè)硬件配置的定位數(shù)據(jù);評(píng)估器用于將計(jì)算出的定位數(shù)據(jù)與ground truth數(shù)據(jù)進(jìn)行比較。

　　圖1是示例計(jì)算設(shè)備100的框圖。計(jì)算設(shè)備100是合適計(jì)算環(huán)境的一個(gè)示例，而描述的示例可以在各種系統(tǒng)配置中實(shí)施，包括PC、筆記本電腦、智能手機(jī)、移動(dòng)平板電腦、手持設(shè)備、消費(fèi)電子產(chǎn)品和專業(yè)計(jì)算設(shè)備等。專利描述的示例同時(shí)可以在分布式計(jì)算環(huán)境中實(shí)施。

　　在一個(gè)實(shí)施例中，計(jì)算設(shè)備100包括直接或間接耦合以下設(shè)備的總線110：計(jì)算機(jī)存儲(chǔ)存儲(chǔ)器112、一個(gè)或多個(gè)處理器114、一個(gè)或多個(gè)表示組件116、輸入/輸出(I/O)端口118、I/O組件120、電源122和網(wǎng)絡(luò)組件124。

　　在一個(gè)實(shí)施例中，總線110表示一條或多條總線(例如地址總線、數(shù)據(jù)總線或其組合)。

　　在一個(gè)實(shí)施例中，計(jì)算機(jī)存儲(chǔ)存儲(chǔ)器112可采取以下計(jì)算機(jī)存儲(chǔ)介質(zhì)參考的形式，并可操作地為計(jì)算設(shè)備100提供計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊和其他數(shù)據(jù)的存儲(chǔ)。例如，計(jì)算機(jī)存儲(chǔ)存儲(chǔ)器112可以存儲(chǔ)操作系統(tǒng)、通用應(yīng)用平臺(tái)或其他程序模塊和程序數(shù)據(jù)。計(jì)算機(jī)存儲(chǔ)存儲(chǔ)器112可用于存儲(chǔ)和訪問(wèn)配置為執(zhí)行專利描述的各種操作指令。

　　現(xiàn)在轉(zhuǎn)到圖2，示例性框圖描述了用于端到端空間定位設(shè)計(jì)服務(wù)的云計(jì)算環(huán)境。云環(huán)境200示出了適合用于專利描述方法的示例性云計(jì)算基礎(chǔ)設(shè)施�？梢允褂萌我鈹�(shù)量的節(jié)點(diǎn)、虛擬機(jī)、數(shù)據(jù)中心、角色實(shí)例或其組合來(lái)實(shí)現(xiàn)期望的功能。

　　圖2的分布式計(jì)算環(huán)境包括公用網(wǎng)絡(luò)202、專用網(wǎng)絡(luò)204和專用網(wǎng)絡(luò)206。例如，公共網(wǎng)絡(luò)202可以是基于公共云的計(jì)算資源網(wǎng)絡(luò)。專用網(wǎng)絡(luò)204可以是計(jì)算資源的專用企業(yè)網(wǎng)絡(luò)或?qū)Ｓ没�于云的網(wǎng)絡(luò)。并且專用網(wǎng)絡(luò)206可以是第三方網(wǎng)絡(luò)或基于云的計(jì)算資源專用網(wǎng)絡(luò)。

　　混合云208可以包括公用網(wǎng)絡(luò)202、專用網(wǎng)絡(luò)204和專用網(wǎng)絡(luò)206的任意組合。例如，混合云208由公共網(wǎng)絡(luò)202和專用網(wǎng)絡(luò)204組成。

　　在一個(gè)實(shí)例中，結(jié)構(gòu)控制器230負(fù)責(zé)自動(dòng)管理在數(shù)據(jù)中心216的節(jié)點(diǎn)上運(yùn)行的虛擬機(jī)，并負(fù)責(zé)將角色實(shí)例和其他asset(例如，軟件組件)放置在數(shù)據(jù)中心216內(nèi)。舉例來(lái)說(shuō)，結(jié)構(gòu)控制器230可以依賴服務(wù)模型來(lái)提供關(guān)于如何、在何處和何時(shí)配置虛擬機(jī)，以及如何、在何處和何時(shí)在其上放置角色實(shí)例的指導(dǎo)。

　　通常，每個(gè)節(jié)點(diǎn)包括或鏈接到某種形式的計(jì)算單元，以支持在其上運(yùn)行的組件的操作。在另一實(shí)例中，計(jì)算單元可以包括耦合到由每個(gè)節(jié)點(diǎn)容納的計(jì)算機(jī)可讀介質(zhì)的處理器。

　　圖4是用于空間定位設(shè)計(jì)服務(wù)400的框圖�？臻g定位設(shè)計(jì)服務(wù)400包括傳感器平臺(tái)模擬器402，其可實(shí)現(xiàn)用于通過(guò)模擬硬件優(yōu)化改善計(jì)算機(jī)視覺(jué)的綜合服務(wù)。傳感器平臺(tái)模擬器402可包括用于模擬傳感器平臺(tái)性能的管道(例如圖3的計(jì)算設(shè)備302的合成版本)。傳感器平臺(tái)模擬器402可用于模擬包括一個(gè)或多個(gè)虛擬camera的一個(gè)或多個(gè)硬件配置。

　　空間定位設(shè)計(jì)服務(wù)400另外操作四個(gè)其他圖示模塊，所示模塊包括運(yùn)動(dòng)編排器404、環(huán)境編排器406和實(shí)驗(yàn)生成器408、實(shí)驗(yàn)運(yùn)行器410和本地化應(yīng)用評(píng)估器412。

　　在一個(gè)實(shí)施例中，運(yùn)動(dòng)編排器模塊404允許空間定位設(shè)計(jì)服務(wù)400的用戶通過(guò)表達(dá)目標(biāo)運(yùn)動(dòng)輪廓來(lái)建模與測(cè)試定位傳感器平臺(tái)和算法相關(guān)的運(yùn)動(dòng)。運(yùn)動(dòng)編排器404可用于在一個(gè)或多個(gè)虛擬環(huán)境中模擬一個(gè)或多個(gè)模擬硬件配置的運(yùn)動(dòng)。示例可能包括創(chuàng)建通過(guò)虛擬場(chǎng)景或房間的多個(gè)隨機(jī)行走的實(shí)例，其可以具有不同的持續(xù)時(shí)間、速度和運(yùn)動(dòng)路徑。

　　環(huán)境編排器406用于模擬一個(gè)或多個(gè)虛擬環(huán)境。在一個(gè)實(shí)施例中，環(huán)境編排器406允許用戶操縱合成環(huán)境，例如燈光設(shè)置和特定對(duì)象的狀態(tài)，例如門。另外或可選地，環(huán)境編排器406定義場(chǎng)景中房間的尺寸、對(duì)象、照明、間距或其他屬性以及其中的內(nèi)容。

　　實(shí)驗(yàn)生成器408將高級(jí)參數(shù)轉(zhuǎn)換為完整實(shí)驗(yàn)的多個(gè)實(shí)例，所述實(shí)例定義要在數(shù)據(jù)生成中使用的運(yùn)動(dòng)集和環(huán)境。實(shí)驗(yàn)生成器408可用于為在一個(gè)或多個(gè)虛擬環(huán)境中具有模擬運(yùn)動(dòng)的一個(gè)或多個(gè)模擬硬件配置生成合成實(shí)驗(yàn)數(shù)據(jù)。即，實(shí)驗(yàn)生成器408生成具有要測(cè)試的不同硬件配置或可調(diào)諧的定位算法參數(shù)的多個(gè)候選定位解決方案。

　　在一個(gè)實(shí)施例中，實(shí)驗(yàn)運(yùn)行器410提供用于調(diào)度、監(jiān)視、管理和審查在數(shù)據(jù)生成中使用的實(shí)驗(yàn)批次的結(jié)果的框架。

　　實(shí)驗(yàn)運(yùn)行器410可用于迭代實(shí)驗(yàn)生成器，以生成硬件配置、虛擬環(huán)境和運(yùn)動(dòng)的一個(gè)或多個(gè)組合的合成實(shí)驗(yàn)數(shù)據(jù)。所述迭代處理可以使用空間定位設(shè)計(jì)服務(wù)400可經(jīng)由云環(huán)境200訪問(wèn)的不同定位算法來(lái)完成。

　　例如，合成環(huán)境中的虛擬硬件配置可以使用50、100或1000種不同的定位算法獨(dú)立處理，以測(cè)試算法對(duì)硬件配置的定位建模的效果如何。在這種情況下，實(shí)驗(yàn)生成器使用各種定位算法計(jì)算合成實(shí)驗(yàn)中一個(gè)或多個(gè)硬件配置的定位數(shù)據(jù)，以生成指示定位參數(shù)的定位算法輸出數(shù)據(jù)。

　　在一個(gè)實(shí)施例中，定位應(yīng)用評(píng)估器412定位算法將數(shù)據(jù)輸出到用于虛擬化硬件配置的GT輸入數(shù)據(jù)，以確定各種定位算法的執(zhí)行效率。

　　可以通過(guò)比較定位算法輸出數(shù)據(jù)與合成環(huán)境中虛擬硬件配置的GT數(shù)據(jù)的方差來(lái)確定各種定位算法的有效性。

　　對(duì)于識(shí)別為與用于虛擬硬件配置的GT最接近或在接近范圍內(nèi)的定位算法，可認(rèn)定為它能夠更準(zhǔn)確地計(jì)算定位參數(shù)并相應(yīng)地進(jìn)行存儲(chǔ)。其他定位算法可以確定為精度較低和/或需要額外配置。

　　對(duì)于精度較低的定位應(yīng)用，可反饋模擬虛擬硬件配置與其他ground truth值相比的視差數(shù)據(jù)，以改進(jìn)性能。例如，可以使用人工智能進(jìn)行優(yōu)化。人工智能處理和機(jī)器學(xué)習(xí)可使用專利所述的定位結(jié)果來(lái)改進(jìn)定位算法，無(wú)需用戶干預(yù)。

　　空間定位設(shè)計(jì)服務(wù)400的操作包括使用所示各種模塊的多個(gè)過(guò)程。用戶可以使用傳感器平臺(tái)模擬器402設(shè)置設(shè)備、環(huán)境和運(yùn)動(dòng)引擎。參數(shù)定義了目標(biāo)設(shè)備、場(chǎng)景和環(huán)境，以及將用于設(shè)計(jì)過(guò)程的運(yùn)動(dòng)類型。

　　用戶可以激活運(yùn)動(dòng)編排器模塊404以設(shè)計(jì)如何為特定類型的實(shí)驗(yàn)操縱運(yùn)動(dòng)引擎。用戶同時(shí)可以激活環(huán)境編排器模塊406以設(shè)計(jì)如何為特定類型的實(shí)驗(yàn)操縱環(huán)境引擎。例如，研究人員/工程師可能對(duì)環(huán)境的重定位感興趣，所以可能會(huì)在單個(gè)建模房間的同一區(qū)域內(nèi)生成數(shù)千個(gè)5秒鐘的測(cè)試。其中，房間的內(nèi)部條件系統(tǒng)地變化，例如通過(guò)家具移動(dòng)或改變照明條件。

　　用戶可激活實(shí)驗(yàn)生成器模塊408，以生成產(chǎn)生定位設(shè)計(jì)問(wèn)題的特定方面的實(shí)驗(yàn)集。實(shí)驗(yàn)可以分為多種類別，如一般測(cè)試、研發(fā)或壓力測(cè)試。用戶可以利用實(shí)驗(yàn)生成器408來(lái)參數(shù)化底層框架并生成用于定位算法的全自動(dòng)模擬和分析的工作負(fù)載。然后，用戶可以使用實(shí)驗(yàn)運(yùn)行器410來(lái)調(diào)度、啟動(dòng)、管理和監(jiān)視使用實(shí)驗(yàn)生成器408設(shè)計(jì)的各種作業(yè)�？蛇x的評(píng)估器可用于將計(jì)算的定位數(shù)據(jù)與ground truth數(shù)據(jù)進(jìn)行比較。

　　名為“ Spatial localization design service”的微軟專利申請(qǐng)最初在2021年7月提交，并在日前由美國(guó)專利商標(biāo)局公布。