微軟專利分享如何進(jìn)一步改善AR/VR透視圖像生成技術(shù)

　　MR系統(tǒng)可以采用不同類型/模態(tài)的攝像頭，例如以透視圖像的形式。透視圖像可以幫助用戶在過渡到MR環(huán)境時(shí)和/或在MR環(huán)境中導(dǎo)航時(shí)避免迷失方向。MR系統(tǒng)可以以多種方式呈現(xiàn)由攝像頭捕獲的視圖。

　　在名為“Texture based fusion for images with cameras having differing modalities”的專利申請(qǐng)中，微軟提出了進(jìn)一步改善透視圖像生成技術(shù)的方法。

　　圖3示出了頭顯305所在的環(huán)境300。注意，頭顯 305至少包括第一攝像頭310和第二攝像頭315。通常情況下，第一攝像頭310的模態(tài)不同于第二攝像頭302的模態(tài)。例如，第一攝像頭312可以具有熱圖像模態(tài)，而第二攝像頭325可以具有低光模態(tài)。

　　圖3顯示了第一攝像頭310和第二攝像頭315如何掃描環(huán)境300。作為執(zhí)行掃描的結(jié)果，第一攝像頭310生成第一圖像330，第二攝像頭315生成第二圖像335。當(dāng)然，它們可以生成任意數(shù)量的圖像。

　　圖4顯示了代表圖3中第一圖像330的第一圖像400。第一圖像400由一組像素405組成。可以為每個(gè)像素或至少一組像素確定紋理。例如，像素410表示為具有紋理415。

　　紋理通常指量化圖像中像素的強(qiáng)度和/或顏色的空間排列的度量或一組值。換句話說，紋理表征像素的強(qiáng)度水平相對(duì)于所述像素相鄰像素的空間分布。

　　圖4進(jìn)一步顯示了代表圖3的第二圖像335的第二圖像420。請(qǐng)注意，第二圖像42包括一組像素425。

　　由于攝像頭在頭顯的放置位置不同，不同攝像頭的視場(chǎng)(FOV)至少部分地彼此重疊。因此，來自第一和第二攝像頭的所得圖像包括對(duì)應(yīng)或類似的內(nèi)容。公共像素組430是表示由第一圖像400和第二圖像420兩者捕獲的相同環(huán)境內(nèi)容的像素。因此，各種圖像包括像素和紋理435。應(yīng)注意，兩幅圖像之間的公共像素的紋理值可能會(huì)有所不同。

　　微軟提出的技術(shù)能夠?qū)Σ煌瑘D像中的每一個(gè)執(zhí)行邊緣檢測(cè)500，如圖5所示。在一個(gè)實(shí)施例中，可以對(duì)圖4所示的第一圖像400和第二圖像420執(zhí)行邊緣檢測(cè)。在一個(gè)實(shí)施例中，邊緣檢測(cè)操作可能僅限于或限制于兩個(gè)圖像之間的公共像素，例如公共像素組430。

　　圖5顯示了一組像素505A，其代表圖4中的一組公共像素430。注意，505A同時(shí)顯示了各種像素的紋理，例如紋理510A和515A。

　　實(shí)施例能夠使用各種像素來執(zhí)行邊緣檢測(cè)500。例如，在代表像素組505A的像素組505B中，注意紋理510B和紋理515B之間的鮮明對(duì)比。紋理510B的紋理值為“10”，而紋理515B的紋理數(shù)值為“87”。紋理值之間的方差或差異超過閾值，從而導(dǎo)致實(shí)施例識(shí)別或確定各個(gè)像素之間存在“邊緣”。兩個(gè)像素之間的加粗線反映了檢測(cè)邊緣，如檢測(cè)邊緣520所示。

　　“邊緣”通常指圖像中存在的顯著局部變化，如特定位置的圖像強(qiáng)度變化。邊緣同時(shí)可以認(rèn)為是特定位置處圖像強(qiáng)度的不連續(xù)變化。 “顯著性”則反映了像素組之間存在的紋理變化量530。在這種情況下，紋理510B和515B之間的紋理變化530為值“77”，這個(gè)值超過了用于確定像素之間是否存在邊緣的預(yù)定閾值。如果一組像素的顯著性滿足或超過閾值，則存在邊緣。

　　實(shí)施例能夠分析圖像中各個(gè)像素的紋理，以確定像素之間的紋理變化。然后使用紋理變化來確定圖像的顯著性，并檢測(cè)像素之間是否存在邊緣。

　　圖6顯示了對(duì)圖像605執(zhí)行的邊緣檢測(cè)600過程。邊緣檢測(cè)600的結(jié)果是圖像610，其示出了各種檢測(cè)到的邊緣615。

　　圖9示出了使用圖像、紋理、顯著性和阿爾法圖來生成增強(qiáng)圖像的示例過程流程圖900。首先，圖9示出了對(duì)應(yīng)于紋理910的第一圖像905和對(duì)應(yīng)于紋理920的第二圖像915。使用前面討論的原理，實(shí)施例能夠確定第一圖像904的第一顯著性925和第二圖像905的第二顯著性930。

　　然后基于第一顯著性925和第二顯著性930生成阿爾法圖935。阿爾法圖925反映了為第一圖像905和第二圖915之間的每個(gè)公共像素計(jì)算的邊緣檢測(cè)權(quán)重940，并且計(jì)算基于第一顯著度925和第二顯著度930。

　　來自圖9的阿爾法圖935可以包括多個(gè)阿爾法圖。這種阿爾法圖可以包括用于高頻計(jì)算的阿爾法圖和用于低頻計(jì)算的阿爾法圖。然后，用于計(jì)算最終融合圖像“F”的方程可以依賴于不同的阿爾法貼圖來確定要從每個(gè)圖像中使用的紋理量。

　　流程圖900接著示出了確定階段945，其中實(shí)施例確定第一圖像905和/或第二圖像915中有多少紋理用于生成增強(qiáng)圖像950。這種確定基于阿爾法圖935中包括的邊緣檢測(cè)權(quán)重940(即阿爾法強(qiáng)度)。

　　在一個(gè)實(shí)施例中，第一圖像905和第二圖像915對(duì)齊，使得它們對(duì)應(yīng)的透視圖彼此匹配或重合。所述對(duì)齊處理可以通過視差校正處理來執(zhí)行。

　　按照?qǐng)D9中描述的流程圖900，微軟提出的方法能夠生成增強(qiáng)圖像。作為一個(gè)示例，假設(shè)實(shí)施例用于有墻壁的室內(nèi)環(huán)境。一組熱水管位于墻內(nèi)。微光攝像頭會(huì)反射墻壁，但熱成像攝像頭可以檢測(cè)到熱信號(hào)。通過生成增強(qiáng)圖像，即便肉眼一般無法看到管道，但用戶依然能夠感知到熱水管道的存在。

　　名為“Texture based fusion for images with cameras having differing modalities”的微軟專利申請(qǐng)最初在2021年2月提交，并在日前由美國專利商標(biāo)局公布。