微軟LaMAR：專(zhuān)為優(yōu)化AR定位和3D映射而生

　　自2019年發(fā)布以來(lái)，HoloLens 2已經(jīng)應(yīng)用于多種企業(yè)級(jí)場(chǎng)景，這些應(yīng)用場(chǎng)景需要的不只是AR顯示技術(shù)，AR定位也是一項(xiàng)關(guān)鍵且實(shí)用的功能。好的3D定位可將AR固定在正確的位置，這樣就可以共享與空間相關(guān)的可視化信息。

　　微軟表示：如果任何人用AR頭顯都可以在物理空間中放置虛擬內(nèi)容，這些虛擬內(nèi)容可長(zhǎng)期保存，還可以和多人分享，那么AR才可能發(fā)揮出全部潛力。為了將AR更好的固定在空間中，將需要基于物理世界構(gòu)建3D數(shù)字地圖，這個(gè)地圖可以定位保存在特定位置的AR，并作為供LBS AR參考的坐標(biāo)。而構(gòu)建這樣的3D地圖，將需要使用空間映射和視覺(jué)定位技術(shù)。

　　通常，訓(xùn)練視覺(jué)定位算法會(huì)使用2D圖像，但識(shí)別平面圖并不能模擬實(shí)際的AR定位過(guò)程。單個(gè)2D圖像主要集中在空間中的特定位置。相比之下，AR映射需要采集密集的環(huán)境信息，并非只掃描特定的位置。此外，AR頭顯在定位空間時(shí)，需要通過(guò)復(fù)雜的數(shù)據(jù)來(lái)實(shí)現(xiàn)本地環(huán)境映射、生成基于空間的數(shù)據(jù)序列。這些數(shù)據(jù)包括：慣性數(shù)據(jù)、無(wú)線(xiàn)電信號(hào)、深度測(cè)量數(shù)據(jù)、相機(jī)姿態(tài)、傳感器圖像等等。這些數(shù)據(jù)只能在AR頭顯開(kāi)啟時(shí)收集，其余時(shí)間無(wú)法在本地實(shí)時(shí)更新。

　　為了進(jìn)一步優(yōu)化AR空間定位算法、加速培訓(xùn)過(guò)程，微軟推出了LaMAR數(shù)據(jù)集，作為AR頭顯空間定位的基準(zhǔn)。該數(shù)據(jù)集可用于訓(xùn)練視覺(jué)重定位算法，以提升持續(xù)性AR定位的效果。這個(gè)數(shù)據(jù)集包含了100個(gè)小時(shí)收集的定位數(shù)據(jù)，覆蓋40千米距離、4.5萬(wàn)平方米空間。準(zhǔn)確率達(dá)厘米級(jí)。除了AR頭顯外，LaMAR數(shù)據(jù)集也兼容移動(dòng)設(shè)備。LaMAR的另一特點(diǎn)是多元化，記錄了天氣、環(huán)境光、運(yùn)動(dòng)等變量。

　　據(jù)青亭網(wǎng)了解，LaMAR由蘇黎世微軟混合顯示和AI實(shí)驗(yàn)室、瑞士聯(lián)邦理工學(xué)院(ETH蘇黎世)聯(lián)合研發(fā)，是這兩家機(jī)構(gòu)研發(fā)兩年的成果。推出LaMAR的目的是，通過(guò)提供基于AR設(shè)備手機(jī)的多傳感器數(shù)據(jù)，幫助科研人員快速解決AR環(huán)境映射和視覺(jué)定位的細(xì)節(jié)，訓(xùn)練出更高效的視覺(jué)算法。

　　細(xì)節(jié)方面，LaMAR包含多個(gè)數(shù)據(jù)序列，這些序列以不同顏色的路徑進(jìn)行表示，而這些路徑實(shí)際上是由點(diǎn)云數(shù)據(jù)組成的。硬件方面，LaMAR使用了HoloLens 2頭顯和iPhone/iPad，數(shù)據(jù)來(lái)自于LiDAR、IMU、深度傳感器、紅外傳感器。此外，還使用了NavVis M6、VLX等專(zhuān)業(yè)測(cè)繪系統(tǒng)，對(duì)場(chǎng)景進(jìn)行3D空間建模。

　　除了數(shù)據(jù)外，LaMAR也展示了一種AR定位管道，這種管道可自動(dòng)計(jì)算出AR設(shè)備的攝像頭的實(shí)際位置，允許AR設(shè)備在機(jī)場(chǎng)、工廠等實(shí)際場(chǎng)景中更好的映射空間。LaMAR還展示了如何用WiFi或藍(lán)牙信號(hào)傳輸來(lái)簡(jiǎn)化圖像檢索，以及通過(guò)傳感器數(shù)據(jù)的時(shí)間來(lái)獲取空間上下文信息，提升相機(jī)姿態(tài)預(yù)測(cè)的準(zhǔn)確性。此外，還演示了用戶(hù)啟動(dòng)AR應(yīng)用、利用傳感數(shù)據(jù)來(lái)定位攝像頭姿態(tài)、并對(duì)比預(yù)構(gòu)建的3D地圖，這樣一個(gè)實(shí)際應(yīng)用的過(guò)程。

　　微軟指出：盡管3D映射、AR定位技術(shù)在近年來(lái)取得了重大進(jìn)展，但科研人員使用的數(shù)據(jù)基準(zhǔn)并不實(shí)際，不能代表現(xiàn)實(shí)世界的AR場(chǎng)景。另外，市面上的3D場(chǎng)景數(shù)據(jù)通常規(guī)模較小，而且缺乏多樣性，通常僅由固定的攝像頭捕捉，缺乏慣性、無(wú)線(xiàn)電、深度數(shù)據(jù)等信息。其精準(zhǔn)度大多也難以滿(mǎn)足AR的需求。相比之下，LaMAR結(jié)合無(wú)線(xiàn)電信號(hào)，可將準(zhǔn)確3D定位的時(shí)間從10秒降低至1.4秒(80%準(zhǔn)確性)到3.58秒(70%準(zhǔn)確性)。參考：Microsoft