微軟專利分享更多HoloLens 2攝像頭圖像校準(zhǔn)的技術(shù)細(xì)節(jié)

　　為了支持不同的功能，AR/VR系統(tǒng)一般可以搭載以特定方式排列的多個(gè)前置攝像頭。由于多種原因，系統(tǒng)需要對(duì)準(zhǔn)前置攝像頭的圖像內(nèi)容。通常，為了執(zhí)行對(duì)準(zhǔn)過程，系統(tǒng)需要詳細(xì)的時(shí)間戳信息和姿勢(shì)信息。然而，因?yàn)椴煌�的攝像頭可能在不同的時(shí)域中工作，所以它們具有時(shí)間偏移。另外，時(shí)間戳數(shù)據(jù)有時(shí)根本不可用，因?yàn)閿z像頭之間可以彼此遠(yuǎn)程操作，并且時(shí)間戳數(shù)據(jù)不被傳輸。盡管對(duì)準(zhǔn)圖像內(nèi)容提供了巨大的好處(特別是在全息圖的放置和生成方面)，但前面所述的問題構(gòu)成了一定的障礙。

　　微軟早前已經(jīng)公布過多份用于校準(zhǔn)不同攝像頭圖像的專利申請(qǐng)，而日前美國專利商標(biāo)局又公布了四份與之相關(guān)的發(fā)明。

　　1. 連續(xù)攝像頭圖像對(duì)準(zhǔn)

　　圖2描繪了帶有兩個(gè)匹配攝像頭215的頭顯200。在一個(gè)實(shí)施例中，兩個(gè)匹配攝像頭215基本垂直對(duì)準(zhǔn)操作頭顯200的用戶的眼睛。圖2進(jìn)一步包括搭載參考攝像頭260的用戶儀器250。在一個(gè)實(shí)施例中，頭顯200和用戶儀器250配置為通過無線鏈路290共享數(shù)據(jù)。在一個(gè)實(shí)施例中，用戶儀器250可以通過無線信道將參考攝像頭260捕獲的圖像幀的圖像數(shù)據(jù)發(fā)送到H頭顯200。

　　圖3示出了使用參考攝像頭260和匹配攝像頭215捕捉包括物理對(duì)象305的環(huán)境的示例。具體而言，用戶儀器250的基準(zhǔn)參考攝像頭260以基準(zhǔn)攝像頭姿勢(shì)320和基準(zhǔn)攝像頭時(shí)間點(diǎn)325捕獲基準(zhǔn)參考幀310，基準(zhǔn)參考幀310包括物理對(duì)象305的表示。類似地，圖3示出了在基準(zhǔn)匹配攝像頭姿勢(shì)330和基準(zhǔn)匹配攝像頭時(shí)間點(diǎn)335處捕獲基本匹配幀315，基準(zhǔn)匹配幀315包括物理對(duì)象305的表示。

　　基準(zhǔn)參考幀310和基準(zhǔn)匹配幀315可以為生成運(yùn)動(dòng)模型提供基礎(chǔ)，以便于將參考攝像頭捕捉的圖像映射到匹配攝像頭捕捉的圖像(反之亦然)。

　　圖25示出了一個(gè)描繪了與生成運(yùn)動(dòng)模型相關(guān)聯(lián)的示例流程圖2500。所述運(yùn)動(dòng)模型配置為有助于將參考攝像頭捕獲的參考幀的一組像素映射到匹配攝像頭捕獲的匹配幀的對(duì)應(yīng)像素組。

　　流程圖2500的動(dòng)作2502包括獲取可更新的基本矩陣。對(duì)于特定情況，使用計(jì)算機(jī)系統(tǒng)3900(例如頭顯 200和/或用戶儀器250)的一個(gè)或多個(gè)處理器3905，并使用參考攝像頭260和匹配攝像頭215捕獲的圖像來執(zhí)行動(dòng)作2502。例如，在一個(gè)實(shí)施例中，可更新的基本矩陣是三維旋轉(zhuǎn)矩陣，三維旋轉(zhuǎn)矩陣是基于基準(zhǔn)參考攝像頭姿勢(shì)下的基準(zhǔn)參考幀與基準(zhǔn)匹配攝像頭姿勢(shì)下的基準(zhǔn)匹配攝像頭捕捉的基準(zhǔn)匹配幀之間的視覺對(duì)應(yīng)關(guān)系而獲得。

　　在一個(gè)實(shí)施例中，計(jì)算機(jī)系統(tǒng)通過在基本參考幀和基本匹配幀之間執(zhí)行特征匹配來識(shí)別一組基本特征匹配，從而獲得可更新的基本矩陣。然后，計(jì)算機(jī)系統(tǒng)通過將基本特征匹配取消投影到三維空間來生成一組未投影的基本特征匹配。然后，計(jì)算機(jī)系統(tǒng)通過最小化成本函數(shù)，并基于未投影的基本特征匹配集計(jì)算可更新的基本矩陣。

　　流程圖2500的動(dòng)作2504包括計(jì)算更新的矩陣。對(duì)于特定情況，使用計(jì)算機(jī)系統(tǒng)3900(例如頭顯 200和/或用戶儀器250)的一個(gè)或多個(gè)處理器3905，并使用參考攝像頭260和匹配攝像頭215捕獲的圖像執(zhí)行動(dòng)作2504。在一個(gè)實(shí)施例中，計(jì)算機(jī)系統(tǒng)使用參考攝像頭以更新的參考攝像頭姿勢(shì)捕獲的更新的參考幀與匹配攝像頭以更新的匹配攝像頭姿勢(shì)捕獲的更新的匹配幀之間的視覺對(duì)應(yīng)來計(jì)算更新的矩陣，從而生成更新的矩陣。

　　在一個(gè)實(shí)施例中，計(jì)算機(jī)系統(tǒng)通過在更新的參考幀和更新的匹配幀之間執(zhí)行特征匹配來識(shí)別一組更新的特征匹配來計(jì)算更新的矩陣。計(jì)算機(jī)系統(tǒng)同時(shí)通過將更新的特征匹配取消投影到3D空間來生成一組未投影的更新特征匹配，并且計(jì)算機(jī)系統(tǒng)通過最小化代價(jià)函數(shù)來基于未投影的更新特征匹配計(jì)算更新的矩陣。

　　為了響應(yīng)根據(jù)動(dòng)作2504成功計(jì)算更新的矩陣，流程圖2500的動(dòng)作2506包括生成對(duì)準(zhǔn)的矩陣，而流程圖2500的動(dòng)作2508包括更新可更新的基本矩陣。對(duì)于特定情況，使用計(jì)算機(jī)系統(tǒng)3900(例如頭顯200和/或用戶儀器250)的一個(gè)或多個(gè)處理器3905執(zhí)行動(dòng)作2506和2508。在一個(gè)實(shí)施例中，計(jì)算機(jī)系統(tǒng)使用基本參考攝像頭姿勢(shì)、基本匹配攝像頭姿勢(shì)、更新的參考攝像頭姿勢(shì)和更新的匹配攝像頭姿勢(shì)生成對(duì)準(zhǔn)的更新矩陣。另外，在一個(gè)實(shí)施例中，計(jì)算機(jī)系統(tǒng)通過使用對(duì)準(zhǔn)的更新矩陣和可更新基本矩陣作為更新可更新基本矩陣的輸入來更新可更新基本矩陣。然后，計(jì)算機(jī)系統(tǒng)可繼續(xù)執(zhí)行動(dòng)作2510，其包括使用可更新的基本矩陣生成運(yùn)動(dòng)模型。

　　對(duì)于特定情況，計(jì)算機(jī)系統(tǒng)無法計(jì)算更新后的矩陣。例如，匹配攝像頭和參考攝像頭不朝向捕獲環(huán)境的公共部分，這可能導(dǎo)致系統(tǒng)無法識(shí)別參考幀和匹配幀之間的特征對(duì)應(yīng)關(guān)系。計(jì)算機(jī)系統(tǒng)同時(shí)可能由于其他原因無法識(shí)別特征點(diǎn)，例如遮擋、攝像頭模式的差異等等。未能識(shí)別匹配幀和/或參考幀內(nèi)的特征點(diǎn)可能會(huì)導(dǎo)致系統(tǒng)無法計(jì)算更新的矩陣。

　　在一個(gè)實(shí)施例中，為了響應(yīng)未能根據(jù)動(dòng)作2504計(jì)算更新的矩陣，計(jì)算機(jī)系統(tǒng)禁止更新根據(jù)動(dòng)作2502獲得的可更新的基本矩陣。相反，計(jì)算機(jī)系統(tǒng)使用根據(jù)動(dòng)作2502獲得的可更新基本矩陣?yán)^續(xù)執(zhí)行動(dòng)作2510。

　　流程圖2500的Act 2510包括使用可更新的基本矩陣生成運(yùn)動(dòng)模型。對(duì)于特定情況，使用計(jì)算機(jī)系統(tǒng)3900(例如頭顯 200和/或用戶儀器250)的一個(gè)或多個(gè)處理器3905執(zhí)行動(dòng)作2510。在一個(gè)實(shí)施例中，運(yùn)動(dòng)模型的計(jì)算機(jī)系統(tǒng)包括可更新的基本矩陣、基于與參考攝像頭相關(guān)聯(lián)的慣性追蹤數(shù)據(jù)生成的參考攝像頭變換矩陣，以及基于與匹配攝像頭相關(guān)聯(lián)的慣性追蹤數(shù)據(jù)生成的匹配攝像頭變換矩陣。

　　圖26中的示例流程圖2600描繪了促進(jìn)兩個(gè)攝像頭的連續(xù)圖像對(duì)準(zhǔn)相關(guān)行為。

　　流程圖2600的動(dòng)作2602包括識(shí)別參考攝像頭變換矩陣。對(duì)于特定情況，使用計(jì)算機(jī)系統(tǒng)3900(例如頭顯 200和/或用戶儀器250)的一個(gè)或多個(gè)處理器3905執(zhí)行流程圖2600的動(dòng)作2602。在一個(gè)實(shí)施例中，參考攝像頭變換矩陣是基本參考攝像頭姿勢(shì)和更新的參考攝像頭姿勢(shì)之間的三維旋轉(zhuǎn)矩陣，與更新的參考攝像頭時(shí)間點(diǎn)之前發(fā)生的基礎(chǔ)參考攝像頭時(shí)間點(diǎn)關(guān)聯(lián)的基礎(chǔ)參考攝像頭姿勢(shì)。

　　流程圖2600的動(dòng)作2604包括識(shí)別匹配攝像頭變換矩陣。對(duì)于特定情況，使用計(jì)算機(jī)系統(tǒng)3900(例如頭顯 200和/或用戶儀器250)的一個(gè)或多個(gè)處理器3905執(zhí)行流程圖2600的動(dòng)作2604。在一個(gè)實(shí)施例中，匹配攝像頭變換矩陣是基本匹配攝像頭姿勢(shì)和更新的匹配攝像頭姿勢(shì)之間的三維旋轉(zhuǎn)矩陣(例如，基于匹配攝像頭IMU 235獲得的慣性追蹤數(shù)據(jù)240識(shí)別)，基本匹配攝像頭姿勢(shì)與更新的匹配攝像頭時(shí)間點(diǎn)之前發(fā)生的基本匹配攝像頭時(shí)間點(diǎn)相關(guān)聯(lián)。

　　流程圖2600的動(dòng)作2606包括識(shí)別校準(zhǔn)矩陣。對(duì)于特定情況，使用計(jì)算機(jī)系統(tǒng)3900(例如頭顯 200和/或用戶儀器250)的一個(gè)或多個(gè)處理器3905執(zhí)行流程圖2600的動(dòng)作2606。對(duì)于特定情況，對(duì)準(zhǔn)矩陣是基于參考攝像頭捕獲的一個(gè)或多個(gè)參考幀與匹配攝像頭捕獲的一個(gè)或多個(gè)匹配幀之間的視覺對(duì)應(yīng)關(guān)系。

　　根據(jù)動(dòng)作2606識(shí)別校準(zhǔn)矩陣可能包括各種動(dòng)作。例如，流程圖2600說明了動(dòng)作2606A包括識(shí)別基本矩陣。在一個(gè)實(shí)施例中，計(jì)算機(jī)系統(tǒng)通過在基準(zhǔn)參考攝像頭姿勢(shì)下由基準(zhǔn)參考攝像頭捕獲的基準(zhǔn)參考幀和在基準(zhǔn)匹配攝像頭姿勢(shì)下由匹配攝像頭捕獲的基準(zhǔn)匹配幀之間執(zhí)行特征匹配來識(shí)別基準(zhǔn)矩陣。計(jì)算機(jī)系統(tǒng)同時(shí)通過將基本特征匹配取消投影到三維空間來生成一組未投影的基本特征匹配。然后，計(jì)算機(jī)系統(tǒng)可以通過最小化代價(jià)函數(shù)，并基于未投影的基本特征匹配集來計(jì)算基本矩陣。對(duì)于特定情況，基礎(chǔ)矩陣是3D旋轉(zhuǎn)矩陣。

　　動(dòng)作2606B包括識(shí)別更新的矩陣。在一個(gè)實(shí)施例中，計(jì)算機(jī)系統(tǒng)通過在更新的參考攝像頭姿勢(shì)下由參考攝像頭捕獲的更新的參考幀和在更新的匹配攝像頭姿勢(shì)下由匹配攝像頭捕獲的更新的匹配幀之間執(zhí)行特征匹配來識(shí)別更新的矩陣。

　　動(dòng)作2606B包括識(shí)別更新的矩陣。在一個(gè)實(shí)施例中，計(jì)算機(jī)系統(tǒng)通過在更新的參考攝像頭姿勢(shì)下由參考攝像頭捕獲的更新的參考幀和在更新的匹配攝像頭姿勢(shì)下由匹配攝像頭捕獲的更新的匹配幀之間執(zhí)行特征匹配來識(shí)別更新的矩陣。計(jì)算機(jī)系統(tǒng)同時(shí)通過將更新的特征匹配取消投影到三維空間，并生成一組未投影的更新特征匹配。然后，計(jì)算機(jī)系統(tǒng)可以通過最小化代價(jià)函數(shù)，并基于未投影的更新特征匹配集來計(jì)算更新的矩陣。

　　動(dòng)作2606C包括生成對(duì)準(zhǔn)的更新矩陣。對(duì)于特定情況，計(jì)算機(jī)系統(tǒng)通過使用基準(zhǔn)參考攝像頭姿勢(shì)、基準(zhǔn)匹配攝像頭姿勢(shì)、更新的基準(zhǔn)攝像頭姿勢(shì)和更新的匹配攝像頭姿勢(shì)，將更新后的矩陣與基準(zhǔn)矩陣對(duì)準(zhǔn)，從而生成對(duì)準(zhǔn)的更新矩陣。

　　動(dòng)作2606D包括將對(duì)準(zhǔn)的更新矩陣與基本矩陣融合。對(duì)于特定情況，計(jì)算機(jī)系統(tǒng)通過將對(duì)準(zhǔn)的更新矩陣和基本矩陣作為輸入應(yīng)用于生成對(duì)準(zhǔn)矩陣的函數(shù)，將對(duì)準(zhǔn)的更新矩陣與基本矩陣融合。在一個(gè)實(shí)施例中，用于生成對(duì)準(zhǔn)矩陣的函數(shù)是插值函數(shù)，并且插值函數(shù)可以包括平滑項(xiàng)。

　　流程圖2600的動(dòng)作2608包括通過取消投影參考幀的一組像素來識(shí)別一組3D點(diǎn)。對(duì)于特定情況，使用計(jì)算機(jī)系統(tǒng)3900的一個(gè)或多個(gè)處理器3905執(zhí)行流程圖2600的動(dòng)作2608。對(duì)于特定情況，計(jì)算機(jī)系統(tǒng)通過使用參考攝像頭的固有矩陣和均勻深度取消投影參考幀的像素集來識(shí)別3D點(diǎn)。

　　流程圖2600的動(dòng)作2610包括生成一組修改后的3D點(diǎn)。對(duì)于特定情況，使用計(jì)算機(jī)系統(tǒng)3900的一個(gè)或多個(gè)處理器3905執(zhí)行流程圖2600的動(dòng)作2610。在一個(gè)實(shí)施例中，計(jì)算機(jī)系統(tǒng)通過將運(yùn)動(dòng)模型應(yīng)用于根據(jù)動(dòng)作2608識(shí)別的三維點(diǎn)集來生成修改后的三維點(diǎn)集。

　　流程圖2600的行動(dòng)2612包括投影修改后的3D點(diǎn)集。對(duì)于特定情況，使用計(jì)算機(jī)系統(tǒng)3900的一個(gè)或多個(gè)處理器3905執(zhí)行流程圖2600的動(dòng)作2612。對(duì)于特定情況，計(jì)算機(jī)系統(tǒng)使用匹配攝像頭的固有矩陣投影修改后的3D點(diǎn)集。投影的修改后的3D點(diǎn)集可使計(jì)算機(jī)系統(tǒng)能夠生成用于向用戶顯示的合成圖像。

　　2. 更新連續(xù)圖像對(duì)準(zhǔn)

　　圖27描繪了用戶設(shè)備250的參考攝像頭260和頭顯200的匹配攝像頭215的示例，它們?cè)诓煌�的時(shí)間點(diǎn)捕捉包括物理對(duì)象305的環(huán)境。具體地，圖27示出了在先前參考攝像頭姿勢(shì)2705和先前參考攝像頭時(shí)間點(diǎn)2710捕獲物理對(duì)象305的圖像的參考攝像頭260。類似地，圖27示出了在先前匹配攝像頭姿勢(shì)2715和先前匹配攝像頭時(shí)間點(diǎn)2720處捕獲物理對(duì)象305的圖像的匹配攝像頭215。

　　參考圖28，參考攝像頭260和匹配攝像頭215在各自的先前時(shí)間點(diǎn)捕獲的圖像形成先前幀對(duì)2820。在一個(gè)實(shí)施例中，系統(tǒng)識(shí)別前一幀對(duì)2820的圖像之間的視覺對(duì)應(yīng)2815。然后，系統(tǒng)可以使用視覺對(duì)應(yīng)2815來確定前一對(duì)準(zhǔn)矩陣2810。在一個(gè)實(shí)施例中，先前對(duì)準(zhǔn)矩陣2810作為運(yùn)動(dòng)模型的一部分操作，以將先前參考幀的像素映射到先前匹配幀的對(duì)應(yīng)像素。

　　回到圖27所示的示例，在使用參考攝像頭260在前一參考攝像頭時(shí)間點(diǎn)2710處和使用匹配攝像頭215在前一匹配攝像頭時(shí)間點(diǎn)2720處捕獲物理對(duì)象305的圖像之后，參考攝像頭260的姿勢(shì)改變以對(duì)應(yīng)于中間參考攝像頭時(shí)間點(diǎn)2740處的中間參考攝像頭姿勢(shì)2735。類似地，匹配攝像頭215的姿勢(shì)改變以對(duì)應(yīng)于中間匹配攝像頭時(shí)間點(diǎn)2750處的中間匹配攝像頭姿勢(shì)2745。參考攝像頭260和匹配攝像頭215都在根據(jù)各自的中間姿勢(shì)定向的同時(shí)捕獲圖像，以形成中間幀對(duì)。

　　如圖27所示，當(dāng)根據(jù)中間參考攝像頭姿勢(shì)2735定向時(shí)，參考攝像頭260和根據(jù)中間匹配攝像頭姿勢(shì)2745定向時(shí)，匹配攝像頭215被指向遠(yuǎn)離物理對(duì)象305的方向，使得兩個(gè)攝像頭都不捕捉物理對(duì)象305。因此，計(jì)算機(jī)系統(tǒng)可能無法識(shí)別中間幀對(duì)的圖像之間的視覺對(duì)應(yīng)關(guān)系。

　　在圖28中，用于將中間參考幀的像素映射到中間匹配幀的對(duì)應(yīng)像素的中間對(duì)準(zhǔn)矩陣2830可以包括先前的對(duì)準(zhǔn)矩陣2810，而不基于中間幀對(duì)生成更新的對(duì)準(zhǔn)矩陣。

　　再次回到圖27，在中間參考攝像頭時(shí)間點(diǎn)2740處使用參考攝像頭260和中間匹配攝像頭時(shí)間點(diǎn)2750處使用匹配攝像頭215捕獲中間幀對(duì)之后，參考攝像頭260的姿勢(shì)改變以對(duì)應(yīng)于當(dāng)前參考攝像頭時(shí)間點(diǎn)2770處的當(dāng)前參考攝像頭姿勢(shì)2765。類似地，匹配攝像頭215的姿勢(shì)改變以對(duì)應(yīng)于當(dāng)前匹配攝像頭時(shí)間點(diǎn)2780處的當(dāng)前匹配攝像頭姿勢(shì)2775。參考攝像頭260和匹配攝像頭215兩者都在定向時(shí)捕獲圖像。

　　在中間參考攝像頭時(shí)間點(diǎn)2740處使用參考攝像頭260和中間匹配攝像頭時(shí)間點(diǎn)2750處使用匹配攝像頭215捕獲中間幀對(duì)之后，參考攝像頭260的姿勢(shì)改變以對(duì)應(yīng)于當(dāng)前參考攝像頭時(shí)間點(diǎn)2770處的當(dāng)前參考攝像頭姿勢(shì)2765。類似地，匹配攝像頭215的姿勢(shì)改變以對(duì)應(yīng)于當(dāng)前匹配攝像頭時(shí)間點(diǎn)2780處的當(dāng)前匹配攝像頭姿勢(shì)2775。參考攝像頭260和匹配攝像頭215都在根據(jù)各自的當(dāng)前姿勢(shì)定向的同時(shí)捕獲圖像，以形成當(dāng)前幀對(duì)2850。

　　在一個(gè)實(shí)施例中，系統(tǒng)識(shí)別當(dāng)前幀對(duì)2850的圖像之間的視覺對(duì)應(yīng)2845。然后，系統(tǒng)可以使用視覺對(duì)應(yīng)2845確定當(dāng)前矩陣2840。計(jì)算機(jī)系統(tǒng)可以將對(duì)準(zhǔn)的當(dāng)前矩陣2865與先前的對(duì)準(zhǔn)矩陣2810混合或組合，以生成更新的對(duì)準(zhǔn)矩陣2860。

　　在一個(gè)實(shí)施例中，更新的對(duì)準(zhǔn)矩陣2860作為運(yùn)動(dòng)模型的一部分進(jìn)行操作，以將當(dāng)前參考幀的像素映射到當(dāng)前匹配幀的對(duì)應(yīng)像素。

　　在一個(gè)實(shí)施例中，插值函數(shù)使用平滑項(xiàng)。在一個(gè)實(shí)施例中，平滑度項(xiàng)確定如何加權(quán)先前的對(duì)準(zhǔn)矩陣2810和對(duì)準(zhǔn)的當(dāng)前矩陣2865以生成更新的對(duì)準(zhǔn)矩陣2860。舉例來說，在一個(gè)實(shí)施例中，當(dāng)平滑度項(xiàng)具有接近最大值的值時(shí)，插值函數(shù)逐漸忽略對(duì)準(zhǔn)的當(dāng)前矩陣2865，為先前的對(duì)準(zhǔn)矩陣2810賦予更多權(quán)重以生成更新的對(duì)準(zhǔn)矩陣2860。另外，在一個(gè)實(shí)施例中，當(dāng)平滑度項(xiàng)具有接近最小值的值時(shí)，插值函數(shù)逐漸忽略先前的對(duì)準(zhǔn)矩陣2810，為對(duì)準(zhǔn)的當(dāng)前矩陣2865賦予更多權(quán)重以生成更新的對(duì)準(zhǔn)矩陣2860。

　　不同的平滑度值可能適用于不同的情況。例如，選擇給予先前對(duì)準(zhǔn)矩陣2810更多權(quán)重的平滑度值可以改善對(duì)準(zhǔn)當(dāng)前矩陣2865中可能存在的噪點(diǎn)的影響。然而，選擇給予對(duì)準(zhǔn)的當(dāng)前矩陣2865更多權(quán)重的平滑度值可改善先前對(duì)準(zhǔn)矩陣2810相對(duì)于當(dāng)前幀的潛在不準(zhǔn)確度。

　　當(dāng)先前的對(duì)準(zhǔn)矩陣2810不準(zhǔn)確時(shí)，選擇使先前的對(duì)準(zhǔn)矩陣2810具有更多權(quán)重的平滑度值可能會(huì)導(dǎo)致合成幀中的不準(zhǔn)確。盡管這種不準(zhǔn)確可能會(huì)隨著時(shí)間的推移而糾正，但提供準(zhǔn)確合成幀的延遲可能會(huì)導(dǎo)致運(yùn)動(dòng)模型不適合特定應(yīng)用，例如，精確操作和/或攝像頭方向快速變化的操作。因此，在一個(gè)實(shí)施例中，基于先前對(duì)準(zhǔn)矩陣2810的預(yù)期精度智能地確定/更新平滑度值可能是有益的。

　　先前校準(zhǔn)矩陣2810的預(yù)期精度可能取決于具體情況。例如在一個(gè)實(shí)施例中，參考攝像頭260和/或匹配攝像頭215從捕捉前一幀對(duì)2820以生成前一對(duì)準(zhǔn)矩陣2810的時(shí)間開始經(jīng)歷大量運(yùn)動(dòng)，這可能會(huì)降低先前對(duì)準(zhǔn)矩陣2810相對(duì)于在當(dāng)前時(shí)間點(diǎn)捕獲的幀對(duì)的精度/適用性。

　　因此，計(jì)算機(jī)系統(tǒng)會(huì)根據(jù)一個(gè)或多個(gè)先前對(duì)準(zhǔn)矩陣的預(yù)期精度智能地確定/更新平滑度項(xiàng)。

　　圖29示出了上述參考圖所述的相同幀捕獲和姿勢(shì)改變序列。對(duì)于特定情況，系統(tǒng)識(shí)別當(dāng)前參考攝像頭時(shí)間點(diǎn)2770和前一參考攝像頭時(shí)間點(diǎn)2710之間與參考攝像頭260相關(guān)聯(lián)的差值2910。另外，系統(tǒng)可以識(shí)別當(dāng)前匹配攝像頭時(shí)間點(diǎn)2780和前一匹配攝像頭時(shí)間點(diǎn)2720之間與匹配攝像頭215相關(guān)聯(lián)的差值2920。高差值2910和/或2920可指示應(yīng)將先前對(duì)準(zhǔn)矩陣2810的預(yù)期精度視為低，而低差值2910和/或2920可指示應(yīng)將先前對(duì)準(zhǔn)矩陣2810的預(yù)期精度視為高。

　　圖30示出了使用對(duì)準(zhǔn)的當(dāng)前矩陣2865、先前的對(duì)準(zhǔn)矩陣2810以及差值2910和/或2920生成更新的對(duì)準(zhǔn)矩陣3015。例如在一個(gè)實(shí)施例中，系統(tǒng)使用對(duì)準(zhǔn)的當(dāng)前矩陣2865、先前的對(duì)準(zhǔn)矩陣2810以及差值2910和/或2920作為對(duì)定影器3000的輸入，以生成更新的對(duì)準(zhǔn)矩陣3015。

　　對(duì)于特定情況，平滑度項(xiàng)3010是基于差值2910和/或2920智能確定。如上文所述，平滑度項(xiàng)3010可確定用于將先前對(duì)準(zhǔn)矩陣2810與對(duì)準(zhǔn)的當(dāng)前矩陣2865混合以生成更新的對(duì)準(zhǔn)矩陣3015的權(quán)重。

　　圖31示出了系統(tǒng)可在不同時(shí)間點(diǎn)與參考攝像頭260和/或匹配攝像頭215相關(guān)聯(lián)地識(shí)別的差值2910和/或2920的示例實(shí)施例。圖31示出，差值2910和/或2920識(shí)別為運(yùn)動(dòng)值3105。例如，運(yùn)動(dòng)值3105可以指示參考攝像頭260和/或匹配攝像頭215在前一時(shí)間點(diǎn)和當(dāng)前時(shí)間點(diǎn)之間經(jīng)歷的運(yùn)動(dòng)量3110。大量運(yùn)動(dòng)可能表明IMU漂移誤差能夠隨著時(shí)間累積，表明先前對(duì)準(zhǔn)矩陣2810的預(yù)期精度低，這可能導(dǎo)致系統(tǒng)選擇低平滑度項(xiàng)3010。

　　圖31同時(shí)示出，運(yùn)動(dòng)值3105可以指示參考攝像頭260和/或匹配攝像頭215在先前時(shí)間點(diǎn)和當(dāng)前時(shí)間點(diǎn)之間經(jīng)歷的一個(gè)或多個(gè)加速度值3115。高加速度值可能導(dǎo)致IMU漂移誤差高于低加速度值，這可能表明先前對(duì)準(zhǔn)矩陣2810的預(yù)期精度較低，并可能導(dǎo)致系統(tǒng)選擇低平滑度項(xiàng)3010。

　　如圖31所示，差值2910和/或2920識(shí)別為時(shí)間值3120，例如自成功識(shí)別視覺對(duì)應(yīng)的最近上一個(gè)時(shí)間點(diǎn)以來已經(jīng)/已經(jīng)經(jīng)過的幀數(shù)或時(shí)間量。成功的視覺對(duì)應(yīng)之間的大量幀或時(shí)間量可指示先前的對(duì)準(zhǔn)矩陣2810可能已變得不準(zhǔn)確，這可導(dǎo)致系統(tǒng)選擇較低的平滑度項(xiàng)3010。

　　3. 促進(jìn)識(shí)別出現(xiàn)運(yùn)動(dòng)模糊的圖像的對(duì)應(yīng)關(guān)系

　　如上所述，系統(tǒng)可以生成運(yùn)動(dòng)模型。運(yùn)動(dòng)模型可包括基于各種矩陣生成的對(duì)準(zhǔn)矩。所述的各種矩陣至少部分地通過識(shí)別由參考攝像頭260和匹配攝像頭215捕獲的圖像之間的對(duì)應(yīng)關(guān)系來計(jì)算，例如通過執(zhí)行特征匹配。

　　在一個(gè)實(shí)施例中，執(zhí)行特征匹配涉及識(shí)別參考攝像頭260捕獲的圖像和匹配攝像頭215捕獲的圖像中的特征點(diǎn)和特征描述符。系統(tǒng)可采用各種技術(shù)來識(shí)別特征點(diǎn)和/或特征描述符，。

　　特征點(diǎn)識(shí)別和/或特征匹配依賴于識(shí)別圖像中包含豐富紋理信息的一個(gè)或多個(gè)像素，例如邊緣、角落和/或其他易于識(shí)別的結(jié)構(gòu)。所以，當(dāng)所分析的圖像中存在模糊偽影時(shí)，執(zhí)行特征點(diǎn)識(shí)別和/或特征匹配操作可能會(huì)受到阻礙。圖像中存在的模糊偽影可能會(huì)模糊圖像中的邊緣、角落和/或其他易于識(shí)別的結(jié)構(gòu)，因此可能導(dǎo)致系統(tǒng)無法識(shí)別圖像中的特征。

　　圖39描繪了在基本匹配攝像頭姿勢(shì)330和基本匹配攝像頭時(shí)間點(diǎn)335處由匹配攝像頭215捕獲的基本匹配幀315。圖39同時(shí)示出了基準(zhǔn)攝像頭260在基準(zhǔn)參考攝像頭姿勢(shì)320和基準(zhǔn)參考攝像頭時(shí)間點(diǎn)325下捕獲的基準(zhǔn)參考幀310。如圖39所示，在匹配攝像頭215的攝像頭曝光時(shí)間期間，匹配攝像頭215和物理對(duì)象305之間的相對(duì)運(yùn)動(dòng)不足以在基本匹配幀315中引起模糊偽影。類似地，在參考攝像頭260的攝像頭曝光時(shí)間期間，參考攝像頭260和物理對(duì)象305之間的相對(duì)運(yùn)動(dòng)不足以在基準(zhǔn)參考幀310中引起模糊偽影。

　　在一個(gè)實(shí)施例中，系統(tǒng)智能地生成修改的(例如下采樣)幀對(duì)，并對(duì)修改的幀對(duì)執(zhí)行特征匹配，以便于識(shí)別經(jīng)歷運(yùn)動(dòng)模糊的圖像之間的對(duì)應(yīng)關(guān)系。運(yùn)動(dòng)模糊可能會(huì)導(dǎo)致攝像頭傳感器中的像素采樣的空間區(qū)域比每個(gè)像素通常采樣的空間區(qū)域更大。由此產(chǎn)生的圖像模糊可降低具有高空間頻率或指示空間變化的對(duì)象(例如諸如邊緣、角和/或其他易于識(shí)別的結(jié)構(gòu)的對(duì)象)的保真度。修改圖像可能導(dǎo)致生成的圖像由中低頻內(nèi)容組成，并且可能使系統(tǒng)能夠使用包括圖像中的中低頻特征的圖像執(zhí)行圖像匹配。使用中低頻信息執(zhí)行特征匹配可有助于在特征點(diǎn)識(shí)別和/或特征匹配期間識(shí)別此類結(jié)構(gòu)。

　　圖40示出了使用一個(gè)或多個(gè)圖像核生成修改的參考幀和修改的匹配幀的概念表示。具體地，圖40示出了在更新的匹配幀3915上執(zhí)行修改4005A。類似地，圖40示出了在更新的參考幀3910執(zhí)行修改4005B。修改4005A和4005B可以包括利用圖像內(nèi)核4020來生成修改后的圖像的各種操作。例如，修改4005A和/或4005B可能涉及在圖像和圖像內(nèi)核4020之間執(zhí)行卷積。

　　根據(jù)專利描述的實(shí)施例，圖像內(nèi)核4020可以呈現(xiàn)各種形式。例如，在一個(gè)實(shí)施例中，圖像內(nèi)核4020指示下采樣分辨率4035，從而使得修改4005A和4005B用作下采樣操作。圖40示出了其中圖像內(nèi)核4020指示下采樣分辨率4035的示例實(shí)施例。根據(jù)圖40所示的實(shí)施例，在更新的匹配幀3915執(zhí)行修改4005A生成作為下采樣更新的匹配幀的修改的更新的匹配幀4015。因此，修改后的更新匹配幀4015具有比更新匹配幀3915更低的圖像大小和像素分辨率，從而令高頻內(nèi)容模糊，并且如上所述在中低頻內(nèi)容引起視覺對(duì)應(yīng)匹配。類似地，圖40示出在更新的參考幀3910執(zhí)行修改4005B生成作為下采樣更新參考幀的修改更新參考幀4010。因此，修改后的更新參考幀4010具有比更新參考幀3910更低的圖像大小和像素分辨率。

　　在一個(gè)實(shí)施例中，系統(tǒng)使用下采樣分辨率4035執(zhí)行修改4005A和/或4005B。對(duì)于特定情況，下采樣分辨率4035定義了系統(tǒng)如何執(zhí)行修改4005A和/或4005B。例如，下采樣分辨率4035可以表示下采樣因子，例如用于組合像素以生成下采樣圖像的分塊操作的像素分塊大小。在一個(gè)實(shí)施例中，下采樣分辨率4035可確定系統(tǒng)是否沿每個(gè)軸將圖像大小減小2、3、4和/或其他因子以生成下采樣圖像。另外或者可選地，下采樣分辨率4035可以指示下采樣圖像的目標(biāo)分辨率。

　　因此，系統(tǒng)可以使用相同的下采樣分辨率4035來執(zhí)行修改4005A和修改4005B，或者系統(tǒng)可以使用一個(gè)下采樣分辨率4035來執(zhí)行修改4005A。

　　在一個(gè)實(shí)施例中，圖像內(nèi)核4020是以靜態(tài)方式預(yù)先確定，而在其他實(shí)施例中，圖像內(nèi)核4020是基于一個(gè)或多個(gè)元素/輸入動(dòng)態(tài)確定。圖41示出了基于運(yùn)動(dòng)屬性4105和/或攝像頭屬性4140確定圖像內(nèi)核4020的示例。

　　在特定情況中，運(yùn)動(dòng)屬性4105包括參考攝像頭運(yùn)動(dòng)屬性4110和/或匹配攝像頭運(yùn)動(dòng)屬性4115。在一個(gè)實(shí)施例中，參考攝像頭運(yùn)動(dòng)屬性4110基于由參考攝像頭IMU 265獲得的慣性追蹤數(shù)據(jù)270，而匹配攝像頭運(yùn)動(dòng)屬性4115基于由匹配攝像頭IMU 235獲得的慣性追蹤數(shù)據(jù)240。參考攝像頭運(yùn)動(dòng)屬性4110可以指示在參考攝像頭260的攝像頭曝光時(shí)間期間與參考攝像頭260相關(guān)聯(lián)的運(yùn)動(dòng)的度量。

　　類似地，匹配攝像頭運(yùn)動(dòng)屬性4115可以指示在匹配攝像頭215的攝像頭曝光時(shí)間期間(與匹配攝像頭215相關(guān)聯(lián)的運(yùn)動(dòng)的度量。

　　在特定情況中，系統(tǒng)基于參考幀的圖像分析4120確定運(yùn)動(dòng)屬性4105。圖像分析4120可以包括各種處理。

　　應(yīng)該注意的是，攝像頭圖像中存在的運(yùn)動(dòng)模糊量可能取決于一個(gè)或多個(gè)攝像頭屬性4140。例如，當(dāng)在相同的運(yùn)動(dòng)條件下捕捉相同的環(huán)境時(shí)，具有較長攝像頭曝光時(shí)間4145的攝像頭可以捕捉比具有較短攝像頭曝光時(shí)間4145的攝像頭更大程度的運(yùn)動(dòng)模糊。另外，當(dāng)在相同運(yùn)動(dòng)條件下捕捉相同環(huán)境時(shí)，具有較高攝像頭角度分辨率4155和/或較小攝像頭視場(chǎng)4150的攝像頭可以捕捉比具有較低攝像頭角度分辨率4155和/或較大攝像頭視場(chǎng)4150的攝像頭更大程度的運(yùn)動(dòng)模糊。所以，對(duì)于特定情況，除了一個(gè)或多個(gè)運(yùn)動(dòng)屬性4105之外，系統(tǒng)同時(shí)可以利用一個(gè)或多個(gè)攝像頭屬性4140作為用于確定下采樣分辨率4035的輸入。

　　如上文參考圖40所示，系統(tǒng)可利用圖像內(nèi)核4020來生成下采樣(或以其他方式修改)幀對(duì)。隨后，系統(tǒng)識(shí)別下采樣幀對(duì)的圖像之間的對(duì)應(yīng)關(guān)系。

　　圖42示出了在修改后的更新匹配幀4015和修改后的更新參考幀4010執(zhí)行特征匹配的概念表示。例如，圖42中的系統(tǒng)識(shí)別修改后的更新匹配幀4015內(nèi)的各種特征點(diǎn)(例如特征點(diǎn)4210A、4210B和4210C)，并識(shí)別各種特征點(diǎn)的特征描述符(例如特征描述符4215A、4215B和4215C)。類似地，圖42中的系統(tǒng)識(shí)別修改后的更新參考幀4010內(nèi)的對(duì)應(yīng)特征點(diǎn))。

　　圖42同時(shí)示出了利用修改后的更新匹配幀4015和修改后的更新參考幀4010內(nèi)識(shí)別的特征點(diǎn)來生成對(duì)準(zhǔn)矩陣4230。系統(tǒng)可利用對(duì)準(zhǔn)矩陣4230來促進(jìn)參考幀的像素到匹配幀的對(duì)應(yīng)像素的映射，以生成用于顯示用戶的復(fù)合幀。

　　4. 減少用于識(shí)別圖像之間的對(duì)應(yīng)關(guān)系的搜索區(qū)域的系統(tǒng)和方法

　　如上文所述，系統(tǒng)可以利用在基本匹配幀315和基本參考幀310內(nèi)識(shí)別的特征匹配來生成基本矩陣610)。基本矩陣610可以為生成用于生成復(fù)合幀的運(yùn)動(dòng)模型提供基礎(chǔ)。

　　圖34示出了基本匹配幀315內(nèi)的搜索區(qū)域3405，所述搜索區(qū)域包括基本匹配幀315的所有像素。類似地，圖34示出了包括基本參考幀310的所有像素的基本參考幀內(nèi)的搜索區(qū)域3410。搜索區(qū)域3405和3410分別指示系統(tǒng)可在其中搜索基本匹配幀315和基本參考幀310內(nèi)的特征點(diǎn)/特征匹配的區(qū)域。

　　如上所述，系統(tǒng)可以對(duì)參考攝像頭260和匹配攝像頭215捕獲的后續(xù)幀執(zhí)行特征匹配，以更新用于生成合成幀的運(yùn)動(dòng)模型。特征提取和特征匹配通常是計(jì)算代價(jià)高昂的過程，尤其是在圖像中搜索較大搜索區(qū)域的特征點(diǎn)/匹配時(shí)。因此，通過減少用于識(shí)別由參考攝像頭260和匹配攝像頭215捕獲的后續(xù)幀之間的特征匹配的搜索區(qū)域，我們可以幫助系統(tǒng)節(jié)省計(jì)算資源。

　　例如，圖35示出了在更新匹配攝像頭姿勢(shì)1130和更新匹配攝像頭時(shí)間點(diǎn)1135由匹配攝像頭215捕獲的更新匹配幀1115。類似地，圖35示出了在更新參考攝像頭姿勢(shì)1120和更新參考攝像頭時(shí)間點(diǎn)1125由參考攝像頭260捕獲的更新參考幀1110。如上所述，更新匹配攝像頭時(shí)間點(diǎn)1135和更新參考攝像頭時(shí)間點(diǎn)1125分別位于基本匹配攝像頭時(shí)間點(diǎn)335和基本參考攝像頭時(shí)間點(diǎn)325之后。

　　圖35示出了用于搜索更新匹配幀1115內(nèi)的特征點(diǎn)的搜索區(qū)域3505，以及用于搜索更新參考幀1110內(nèi)的特征點(diǎn)以促進(jìn)特征匹配的搜索區(qū)域3510。如圖35所示，與更新參考幀1110相關(guān)聯(lián)的搜索區(qū)域3510在大小上對(duì)應(yīng)(或可以稍大)與基本參考幀310相關(guān)聯(lián)的搜索區(qū)域3410。與更新匹配幀1115相關(guān)聯(lián)的搜索區(qū)域3505的大小小于與基本匹配幀315相關(guān)聯(lián)的搜索區(qū)域3405，這可以減少與識(shí)別更新的匹配幀1115內(nèi)的特征點(diǎn)相關(guān)聯(lián)的計(jì)算負(fù)擔(dān)。

　　系統(tǒng)可以基于各種元素/輸入在更新的匹配幀1115內(nèi)定義搜索區(qū)域3505。在一個(gè)實(shí)施例中，系統(tǒng)基于與先前生成的復(fù)合幀相關(guān)聯(lián)的重疊區(qū)域來定義搜索區(qū)域3505。作為說明，圖35示出了覆蓋在更新的匹配幀1115的重疊區(qū)域1020。

　　在特定情況中，系統(tǒng)基于慣性追蹤數(shù)據(jù)定義搜索區(qū)域3505。例如在一個(gè)實(shí)施例中，系統(tǒng)基于與參考攝像頭260相關(guān)聯(lián)的慣性追蹤數(shù)據(jù)270來識(shí)別參考攝像頭變換矩陣1170。系統(tǒng)同時(shí)可以或者可選地基于與匹配攝像頭215相關(guān)聯(lián)的慣性追蹤數(shù)據(jù)240識(shí)別匹配攝像頭變換矩陣1140。

　　在一個(gè)實(shí)施例中，系統(tǒng)使用參考攝像頭變換矩陣1170和/或匹配攝像頭變換矩陣1140指示的參考攝像頭260和匹配攝像頭215的相對(duì)位置的變化來變換重疊區(qū)域1020，并識(shí)別更新匹配幀1115內(nèi)的預(yù)測(cè)重疊區(qū)域。預(yù)測(cè)的重疊區(qū)域可指示更新的匹配幀1115內(nèi)的像素的預(yù)期區(qū)域。因此，預(yù)測(cè)的重疊區(qū)域在更新匹配幀1115內(nèi)的定位可以提供定義搜索區(qū)域3505在更新的匹配幀1115內(nèi)的定位的基礎(chǔ)。

　　圖35示出了系統(tǒng)可以基于其他元素/輸入定義搜索區(qū)域3505。在一個(gè)實(shí)施例中，系統(tǒng)利用置信度3515來定義搜索區(qū)域3505。置信度量3515可以指示搜索區(qū)域3505的定位的預(yù)期精度。在置信度3515指示搜索區(qū)域3505的定位的高預(yù)期精度的情況下，系統(tǒng)可以將搜索區(qū)域3505定義為具有與重疊區(qū)域1020的大小相似或相同的大小。相反，在置信度3515指示搜索區(qū)域3505的定位的預(yù)期精度較低的情況下，系統(tǒng)可以將搜索區(qū)域3505定義為具有大于重疊區(qū)域1020的大小。

　　置信度3515可以包括各種元素。例如，在一些實(shí)施例中，置信度度量3515包括時(shí)間段3530，例如基本匹配攝像頭時(shí)間點(diǎn)335和更新的匹配攝像頭時(shí)間點(diǎn)1135之間的時(shí)間段和/或基本參考攝像頭時(shí)間點(diǎn)325和更新的參考攝像頭時(shí)間點(diǎn)1125之間的時(shí)間段。以不同的方式說明，在一些實(shí)施例中，時(shí)間段3530指示自系統(tǒng)成功識(shí)別匹配攝像頭215和參考攝像頭260捕獲的圖像之間的特征匹配以更新對(duì)準(zhǔn)矩陣(如上所述)以來經(jīng)過的時(shí)間量。在一些實(shí)施例中，較大的時(shí)間段3530指示更新的匹配幀1115內(nèi)搜索區(qū)域3505的定位的預(yù)期精度的較低程度(例如，由于IMU漂移誤差累積的較大時(shí)間段)。因此，更大的時(shí)間段3530可導(dǎo)致置信度3515，其導(dǎo)致系統(tǒng)增加搜索區(qū)域3505的大小(可能填充更新的匹配幀1115的全部)，以說明搜索區(qū)域3505在更新的匹配幀1115內(nèi)的定位的低預(yù)期精度。

　　對(duì)于特定情況，置信度度量包括運(yùn)動(dòng)度量3535，例如相對(duì)于匹配攝像頭215和/或參考攝像頭260的運(yùn)動(dòng)測(cè)量。在特定情況中，系統(tǒng)基于IMU數(shù)據(jù)確定運(yùn)動(dòng)測(cè)量3535。

　　應(yīng)當(dāng)注意，在特定情況中，運(yùn)動(dòng)度量3535指示參考攝像頭260和匹配攝像頭215的相對(duì)運(yùn)動(dòng)和/或與單獨(dú)攝像相關(guān)聯(lián)的單獨(dú)運(yùn)動(dòng)度量的組合/合成。

　　在圖35中，系統(tǒng)至少部分基于重疊區(qū)域1020在更新的匹配幀1115內(nèi)定義搜索區(qū)域3505。圖36示出了一個(gè)替代實(shí)施例。

　　圖36中的更新匹配幀1115描繪了各種特征點(diǎn)，包括特征點(diǎn)3610A、3610B和3610C。更新匹配幀1115描繪的各種特征點(diǎn)表示通過在前一幀對(duì)執(zhí)行特征匹配而識(shí)別的特征點(diǎn)。換言之，圖36中更新匹配幀1115描繪的各種特征點(diǎn)表示在匹配攝像頭215捕獲的先前圖像中識(shí)別的特征點(diǎn)。

　　將圖36的更新匹配幀1115(例如3610A、3610B和3610C)中描繪的特征點(diǎn)類比為重疊區(qū)域，系統(tǒng)可以至少部分地基于所述特征點(diǎn)，并定義用于在更新匹配幀1115內(nèi)搜索特征點(diǎn)的搜索區(qū)域。作為說明，系統(tǒng)可通過變換特征點(diǎn)3610A、3610B、3610B和3610C來識(shí)別更新特征點(diǎn)在更新匹配幀1115中的預(yù)期位置。系統(tǒng)同時(shí)可以將圍繞更新特征點(diǎn)的預(yù)期位置的像素區(qū)域定義為搜索區(qū)域3605A、3605B和3605C或復(fù)合搜索區(qū)域的組件。

　　圖37示出了使用搜索區(qū)域3505，并通過執(zhí)行特征匹配來確定更新匹配幀1115的像素與更新參考幀1110的像素之間的對(duì)應(yīng)關(guān)系的示例。在一個(gè)示例中，系統(tǒng)識(shí)別更新匹配框1115的搜索區(qū)域3505內(nèi)的特征點(diǎn)1810A、1810B和1810C，以及更新參考框1110的搜索區(qū)域3510內(nèi)的特征點(diǎn)1820A、1820B和1820C，并且系統(tǒng)使用特征描述符1815A、1815B和1815C和特征描述符1825A、1825B和1825C確定更新匹配幀1115的特征點(diǎn)對(duì)應(yīng)于更新參考幀1110的特征點(diǎn)。

　　在上述示例中，系統(tǒng)避免在搜索區(qū)域3505之外的更新匹配幀1115內(nèi)搜索特征點(diǎn)，從而保留計(jì)算資源。

　　對(duì)于特定情況，系統(tǒng)無法識(shí)別匹配幀和參考幀之間的對(duì)應(yīng)關(guān)系。未能識(shí)別匹配幀和參考幀之間的對(duì)應(yīng)關(guān)系可指示匹配攝像頭215和參考攝像頭260捕捉環(huán)境的不同部分。

　　在特定情況中，為了響應(yīng)未能確定匹配幀和參考幀之間的對(duì)應(yīng)關(guān)系，系統(tǒng)修改(例如擴(kuò)展)用于識(shí)別后續(xù)幀對(duì)中的對(duì)應(yīng)關(guān)系的搜索區(qū)域。參考攝像頭260和匹配攝像頭215可以在捕獲環(huán)境的不同部分的一段時(shí)間后重定向以捕獲環(huán)境的公共部分。在一個(gè)實(shí)施例中，修改的(例如擴(kuò)展的)搜索區(qū)域允許系統(tǒng)能夠在參考攝像頭260的視場(chǎng)和匹配攝像頭215的視場(chǎng)開始重疊后不久更容易地識(shí)別特征匹配。

　　以上四份專利都是在2020年7月提交，并在日前由美國專利商標(biāo)局公布。