微軟專利提出MR幀對齊工具，實現(xiàn)更好的圖像捕獲和智能檢測

　　對于企業(yè)，有時候記錄項目階段或產(chǎn)品的照片非常重要。例如，裝配線操作員的一個任務(wù)可以是在裝配的各個階段拍攝產(chǎn)品的照片。當拍攝同一產(chǎn)品的多個實例時，人類操作員可以從稍微不同的有利位置拍攝每個產(chǎn)品的照片。諸如缺陷這樣的特定產(chǎn)品細節(jié)可能會一個位置可見或不可見。由于人類拍攝的照片對于透視圖而言可能缺乏一致性，所以很難使用所述照片作為后續(xù)比較或評估成像產(chǎn)品的基礎(chǔ)。另外，人工操作員在檢查產(chǎn)品時經(jīng)常出錯和/或采用不一致的標準。

　　在名為“Mixed reality image capture and smart inspection”的專利申請中，微軟介紹了一種混合現(xiàn)實圖像捕獲和智能檢測技術(shù)。團隊表示，相關(guān)可以檢查在依賴于照片記錄或維護的系統(tǒng)中特別使用的特征，例如用于質(zhì)量保證的產(chǎn)品檢查系統(tǒng)。

　　簡單來說，發(fā)明主要描述了一種混合現(xiàn)實幀對齊工具，它可以將用戶引導(dǎo)到預(yù)定義的有利位置，然后定位攝像頭以捕捉對象的照片。這種智能引導(dǎo)工具可以用于確保拍攝對象的特定特征可見，和/或從基本相似或相同的有利位置拍攝相同對象的圖像集合，從而產(chǎn)生一致的圖像集。

　　同時，專利指出可以根據(jù)人類操作員從一致的有利位置收集的一組對象圖像訓(xùn)練機器學(xué)習模型。例如，操作員可以提供與每張照片相關(guān)聯(lián)的輸入，指示每張照片中的主題是否與特定標準一致。一旦訓(xùn)練完成，機器學(xué)習模型可以動態(tài)評估對象的新圖像，并客觀地確定新圖像中的對象是否與標準一致。在一個實施例中，機器學(xué)習模型的輸出可以經(jīng)過進一步的處理和分析，并且系統(tǒng)適于提供實時反饋，例如在產(chǎn)品有缺陷時通知操作員，或者總結(jié)對成像的特定產(chǎn)品的分析。例如，生產(chǎn)裝配線上的操作員拍攝產(chǎn)品組件的照片，并會立即收到系統(tǒng)實時反饋，從而判斷產(chǎn)品是否符合規(guī)定的質(zhì)量標準。

　　圖1是一個示例處理設(shè)備102，它提供了用于收集和檢查真實世界圖像的混合現(xiàn)實用戶體驗。處理設(shè)備102可以是能夠在三維真實世界參考框架內(nèi)投射數(shù)字對象，并令數(shù)字對象和真實對象在用戶視場中共存的頭戴式設(shè)備。在另一個實施例中，專利描述的技術(shù)可以在任何混合現(xiàn)實設(shè)備中實現(xiàn)，包括提供2D混合現(xiàn)實體驗的設(shè)備。

　　處理設(shè)備102包括投影光學(xué)元件104，后者配置為在佩戴處理設(shè)備102或與處理設(shè)備102交互的用戶120的視場118內(nèi)投影細節(jié)對象。處理設(shè)備102同時包括攝像頭106，其可用于捕捉混合現(xiàn)實體驗的靜止圖像或視頻幀。處理設(shè)備102同時包括存儲操作系統(tǒng)(未示出)和可由處理器112執(zhí)行的一個或多個應(yīng)用程序的存儲器110。在其他應(yīng)用中，處理設(shè)備102存儲并本地執(zhí)行混合現(xiàn)實幀對齊工具114和圖像檢查工具116。在一個實施例中，混合現(xiàn)實幀對齊工具114和/或圖像檢查工具116可以由通過局域網(wǎng)或廣域網(wǎng)與處理設(shè)備102通信的設(shè)備遠程執(zhí)行。

　　混合現(xiàn)實幀對齊工具114用于引導(dǎo)用戶將處理設(shè)備102定位在相對于目標對象的特定預(yù)定義有利位置。一旦混合現(xiàn)實幀對齊工具114確定攝像頭106的鏡頭位于預(yù)定義的有利位置，混合現(xiàn)實幀對齊工具114就可以將指令發(fā)送到圖像捕獲工具136，例如，使用攝像頭106自動捕獲照片的指令或提示用戶提供輸入以觸發(fā)照片捕獲的指令。然后，可以任選地將捕獲的照片提供給圖像檢查工具116。

　　專利描述的技術(shù)存在一系列的示例，例如產(chǎn)品檢查。當制造廠的操作完成了目標拍攝對象122(例如自行的部件)的特定工作階段時，操作員可能需要拍攝目標拍攝對象122的照片，以確保其總體狀況/質(zhì)量，而相關(guān)內(nèi)容可供另一方(如人工或機器檢查員)進行后續(xù)評估。

　　在一個實現(xiàn)中，混合現(xiàn)實幀對齊工具114幫助用戶120從相對于目標拍攝對象122的一致有利位置收集場景100的多張照片。多張照片可以是同一產(chǎn)品的不同副本。

　　當混合現(xiàn)實幀對齊工具114正在執(zhí)行時，用戶通過將攝像頭106指向預(yù)定義的真實世界錨定對象來啟動圖像捕獲模式，例如通過將頭顯與錨定對象124一起定位在頭顯視場118中或附近。在一個實施例中，圖1的錨定對象124是條形碼貼紙，其放置在相對于場景100內(nèi)的目標對象(例如自行車部件)具有已知預(yù)定義空間間隔的位置，例如桌子。例如，錨定對象124可以由系統(tǒng)管理員在混合現(xiàn)實幀對齊工具114的設(shè)置階段期間定義，例如通過上傳錨定對象的照片或提供系統(tǒng)可用的其他指令來容易地在場景100中識別錨定對象124。

　　當混合現(xiàn)實幀對齊工具114識別視場118中的錨定對象124時，混合現(xiàn)實幀對齊工具114定義一個3D坐標系(其原點對應(yīng)于錨定對象124的位置)，并將第一數(shù)字目標126(例如全息目標)投影到一個預(yù)定位置(所述位置由相對于錨定對象124的偏移向量d定義)。在圖像捕獲處理的整個持續(xù)期間，第一數(shù)字目標126保持固定在所述位置。因此，即使用戶移動處理設(shè)備102以改變攝像頭106的視圖118，例如通過從左向右移動他/她的頭部，第一數(shù)字目標126依然相對于場景中的真實世界對象固定。

　　在一個實施例中，在應(yīng)用的設(shè)置階段，相對于錨定對象124的已知位置和產(chǎn)品122或?qū)⑴臄z對象的已知位置來定義偏移向量d。例如，系統(tǒng)管理員可以在初始化圖像檢查工具112的系統(tǒng)參數(shù)時定義偏移向量d。

　　偏移向量d表示相對于錨定對象124的位置。在所述位置，第一數(shù)字目標126將在每次執(zhí)行混合現(xiàn)實幀對齊工具114時進行投影。理想情況下，偏移向量d定義為將第一數(shù)字目標126投影到感興趣對象的預(yù)期位置。例如，可以假設(shè)，當將感興趣的攝影對象122放置在相對于錨定對象124的已知距離的臺上時，將對其進行拍攝。在所示的示例中，用戶120正在記錄自行車上后變速器的外觀，例如，用戶120可以定位自行車，使前后輪胎與預(yù)定義的位置、標記對齊，等，以確保后撥鏈器按照偏移向量d定義的距離和方向從錨定對象124偏移。在另一個實現(xiàn)中，混合現(xiàn)實幀對齊工具114自行定義偏移向量d，例如，基于描繪預(yù)定義的錨定對象124和預(yù)定義的感興趣的攝影對象122兩者的一個或多個輸入圖像。

　　在另一種實施例中，錨定對象124是QR標簽或位于目標對象(例如自行車的后變速器)的其他對象。在上述任一情況下，系統(tǒng)管理員可將偏移向量d定義為零，指示呈現(xiàn)第一數(shù)字目標126以與包括錨定對象124的場景100的區(qū)域重合。

　　除了投影第一數(shù)字目標126之外，混合現(xiàn)實幀對齊工具114同時控制投影光學(xué)元件104，從而在用戶120的視場內(nèi)投影第二數(shù)字目標128。第二數(shù)字目標128投影在相對于攝像頭106固定，且在整個照片拍攝過程期間相對于場景100動態(tài)移動的位置。例如，即使攝像頭106在空間中物理地移動，第二數(shù)字目標128都會投影在相對于攝像頭106在由錨定對象124定義的坐標系中的位置的固定偏移[x，y，x]的空間點。

　　當用戶移動攝像頭106時，混合現(xiàn)實幀對齊工具114可以基于攝像頭106視場的變化來改變第二數(shù)字目標128的位置、大小和方向。在一個實現(xiàn)中，第二數(shù)字目標128的大小隨著距離第一數(shù)字目標126的投影位置的距離的變化而變化。例如，如果用戶靠近第一數(shù)字目標126的固定位置，這可能會致使第二數(shù)字目標128縮小。

　　在一個實施例中，混合現(xiàn)實幀對齊工具114響應(yīng)于檢測到的攝像頭106的鏡頭和第一數(shù)字目標126的固定位置之間的角度間隔變化，改變第一數(shù)字目標126和第二數(shù)字目標128之間的角度間隔。例如，第二數(shù)字目標128最初可能出現(xiàn)在垂直于用戶視線的第一平面內(nèi)定向，而第一數(shù)字目標126最初出現(xiàn)在與第一平面不同且不平行的第二平面內(nèi)延伸。當用戶120繞過目標攝影對象122并接近預(yù)定義的有利位置時，第一數(shù)字目標126的投影平面可以移動，使得第一數(shù)字目標126變得更平行于第二數(shù)字目標128，同時減少用戶120和預(yù)定義有利位置之間的間隔。

　　當?shù)诙��?shù)字目標128滿足相對于第一數(shù)字目標126的預(yù)定義空間關(guān)系時，拍攝對象的照片。例如，用戶120可以在空間中移動攝像頭106，直到第二數(shù)字目標128與第一數(shù)字目標126對齊。在相同或另一實施例中，用戶120移動攝像頭106以移動第二數(shù)字目標128的外觀大小和/或方向，直到第二數(shù)字目標128的大小和/或方向與第一數(shù)字目標126的大小和/或方向足夠相似以滿足預(yù)定義的相似性閾值。

　　在一個實施例中，當滿足預(yù)定義的空間關(guān)系時，混合現(xiàn)實幀對齊工具114自動捕獲對象的照片，而不需要用戶120的輸入。換句話說，用戶不提供定義何時捕獲照片或直接觸發(fā)照片捕獲的輸入。相反，當攝像頭被定位在相對于錨定對象124和圖像對象的預(yù)定義有利位置時，圖像捕獲工具136自動捕獲照片。

　　在一個實施例中，當滿足虛擬目標之間的預(yù)定義空間關(guān)系時，混合現(xiàn)實幀對齊工具114向用戶120提供實時反饋，例如通過提供視覺或音頻提示。這可用于向用戶120傳達照片已完成自動捕獲，或可替換地，提示用戶提供觸發(fā)照片捕獲的輸入。

　　為了說明通過混合現(xiàn)實幀對齊工具114捕獲的圖像的一個示例使用，顯示處理設(shè)備102進一步包括圖像檢測器132。例如，圖像檢查器132是經(jīng)過訓(xùn)練的機器學(xué)習模型。在一個實施例中，使用訓(xùn)練數(shù)據(jù)130訓(xùn)練圖像檢查器132，訓(xùn)練數(shù)據(jù)130包括由系統(tǒng)管理員提供的圖像集和監(jiān)督學(xué)習輸入。例如，系統(tǒng)管理員可以利用混合現(xiàn)實幀對齊工具114來收集位于相同裝配位置的相同產(chǎn)品類型的一組圖像。系統(tǒng)管理員可以通過提供圖像以及進一步的有監(jiān)督學(xué)習輸入來訓(xùn)練模型識別“缺陷產(chǎn)品”。由于圖像集在每個圖像中的產(chǎn)品位置高度一致，所以與使用從不太一致的有利位置拍攝的對象圖像進行訓(xùn)練的類似模型相比，經(jīng)過訓(xùn)練的模型將顯示出更高的可靠性。

　　在一個實施例中，圖像檢查工具116可以包括向用戶120提供實時反饋的反饋工具134。例如，如果用戶120使用混合現(xiàn)實幀對齊工具114捕捉對象的圖像，則圖像可以提供給圖像檢查器132，圖像檢查器132進而確定圖像中的對象是否具有特定特征，例如，產(chǎn)品是否有缺陷。反饋工具134實時地將圖像檢測器132的輸出傳回給用戶120，例如通過處理設(shè)備102的用戶接口。在這種情況下，可以立即(例如在拍攝照片的幾秒鐘內(nèi))通知用戶120照片是否滿足已由圖像檢查器132評估的標準。

　　圖2示出了當引導(dǎo)用戶將攝像頭定位在相對于目標對象或位置的預(yù)定義有利位置時，混合現(xiàn)實幀對齊工具如何動態(tài)更新數(shù)字目標的位置的示例。

　　當進入圖像捕獲模式時，混合現(xiàn)實幀對齊工具投影第一數(shù)字目標(a)和第二數(shù)字目標(B)。第二數(shù)字目標(B)被投影到相對于現(xiàn)實世界場景中的識別“錨定對象”固定的位置，。假設(shè)第二數(shù)字目標的投影位置對應(yīng)于用戶想要拍攝的對象的真實世界位置。

　　在整個圖像捕獲過程中，第二數(shù)字目標(B)保持固定(例如錨定)在真實場景中的固定位置，而第一數(shù)字目標(a)由頭顯的投影系統(tǒng)移動，以反映系統(tǒng)攝像頭的移動。因此，用戶看到第一數(shù)字目標(A)相對于場景以及相對于第二數(shù)字目標(B)的運動。

　　當用戶如視圖202所示向上看時，攝像頭的視線向上傾斜(在虛線箭頭指示的位置)，使得攝像頭的視線與第二數(shù)字目標(B)正上方的位置相交。這意味著用戶相對于圖像對象的方向不同于預(yù)定義有利位置的方向。當用戶降低視線以向下移動頭顯時，第一數(shù)字目標(A)的位置(從用戶角度)發(fā)生變化，以與第二數(shù)字目標(B)對齊，如視圖204所示。在本例中，用戶已重新定向攝像頭，使其相對于目標具有與預(yù)定義有利位置一致的方向?qū)�齊。

　　如另一視圖206所示，第一數(shù)字目標(A)最初可能出現(xiàn)在與第二數(shù)字目標(B)的平面不平行的平面中。這意味著用戶相對于圖像對象的角度方向不同于預(yù)定義有利位置的角度方向。當用戶圍繞圖像對象在圓圈中行走時，第二數(shù)字目標(B)的角方向似乎發(fā)生移動，而第一數(shù)字目標(a)的角方向與用戶的視線平行。當攝像頭的角度與預(yù)定義的有利位置相關(guān)聯(lián)的角度一致時，這兩個平面看起來彼此平行，如視圖208所示。在這個示例中，用戶已重新定向攝像頭，使其相對于目標具有與預(yù)定義有利位置一致的角度定向。

　　如另一視圖210所示，第一數(shù)字目標(A)和第二數(shù)字目標(B)可能具有不同的尺寸，即使它們在用戶視線內(nèi)的方向和平面方向上對齊。這意味著用戶與圖像對象的分離不同于預(yù)定義的有利位置。在該示例中，當用戶朝第二數(shù)字目標(B)的固定現(xiàn)實世界位置行走時，第一數(shù)字目標(A)的尺寸增大，當用戶朝相反方向行走時，第一數(shù)字目標(A)的尺寸減小，如視圖212所示。值得注意的是，可以使用其他視覺效果來傳達相同的概念。

　　如上文所述，混合現(xiàn)實幀對齊工具可響應(yīng)于確定第一數(shù)字目標(a)和第二數(shù)字目標(B)滿足預(yù)定義的空間關(guān)系而捕捉目標的照片。在不同的實現(xiàn)中，可以基于不同的標準來滿足預(yù)定義的空間關(guān)系，例如基于關(guān)于方向?qū)�齊、角度定向和/或深度定義的一個或多個條件。

　　在圖2的示例中，預(yù)定義空間關(guān)系的滿足取決于攝像頭相對于圖像目標的方向、攝像頭相對于圖像目標的角度分離以及攝像頭相對于圖像目標的深度�；旌犀F(xiàn)實幀對齊工具114確定目標之間滿足預(yù)定義的空間關(guān)系，并自動捕獲圖像或?qū)⑤敵鰝魉徒o用戶，以表示攝像頭位于預(yù)定義的有利位置，以便用戶可以手動拍照，例如通過提供觸摸、語音、或系統(tǒng)的視覺輸入。

　　圖3A-3D示出了混合現(xiàn)實幀對齊工具的示例投影，所述工具可用于引導(dǎo)用戶將攝像頭定位在相對于感興趣的對象312的預(yù)定義有利位置。

　　圖3A示出了由在頭顯304執(zhí)行的混合現(xiàn)實幀對齊工具生成的示例數(shù)字目標初始位置。例如，混合現(xiàn)實幀對齊工具可以定義一個坐標系，所述坐標系的原點固定在場景中已識別的錨定對象上。第一數(shù)字目標306以相對于所識別的錨定對象的預(yù)定義偏移投影在對應(yīng)于目標攝影對象的位置。混合相對幀對齊工具同時控制投影光學(xué)器件在相對于頭顯304固定的位置投影第二數(shù)字目標308。因此，當用戶302移動頭部以改變頭顯304的位置時，第二數(shù)字目標308移動以鏡像所述位置。預(yù)定義空間關(guān)系的滿足可致使頭顯304自動捕獲感興趣對象的照片，或者可選地，提示用戶輸入觸發(fā)圖像捕獲的輸入。

　　圖3B示出了當用戶將攝像頭從圖3A所示的位置移向預(yù)定的有利位置時，數(shù)字目標306、308的位置發(fā)生的相對移動。圖3C示出了當用戶將頭顯304移動到與預(yù)定義有利位置一致的位置時，數(shù)字目標306、308的位置發(fā)生的另一相對移動。這里，用戶302已經(jīng)將頭部從圖3B所示的位置移動，以使視線進一步向下朝向第一數(shù)字目標306，使得第二數(shù)字目標308移動到與第一數(shù)字目標306相對對齊的位置。在一個實現(xiàn)中，混合現(xiàn)實幀對齊工具向用戶302提供視覺或音頻提示，以指示頭顯304現(xiàn)在處于與預(yù)定義有利位置一致的位置。例如，第一數(shù)字目標306和第二數(shù)字目標308可以合并成單個目標和/或目標的顏色可以改變。在一個實施例中，播放音頻效果以傳達頭顯304正確定位在對應(yīng)于預(yù)定義有利位置的位置。

　　當HMD 304的位置與預(yù)定義有利位置的位置一致時，第一數(shù)字目標306和第二數(shù)字目標308滿足預(yù)定義的空間關(guān)系。這個時候，系統(tǒng)可以自動捕獲對象312的圖像，或者等待用戶302提供觸發(fā)圖像捕獲的輸入。

　　圖3D示出了圖像檢查工具的示例性菜單選項314，如上文關(guān)于圖3A-3C所述，圖像檢查工具可在拍攝照片后呈現(xiàn)。這里，示范性菜單選項314作為混合現(xiàn)實圖形用戶界面的一部分呈現(xiàn)。菜單選項314包括“比較”、“重試”和“完成”。如果用戶選擇“比較”選項，則圖像檢查工具可以例如從數(shù)據(jù)庫中提取參考圖像，并將參考圖像并排投影到新捕獲的圖像，以允許用戶302主觀地評估兩個圖像之間的相似性和差異性。例如，可以呈現(xiàn)非缺陷產(chǎn)品的參考圖像，以允許用戶302評估新捕獲的圖像中呈現(xiàn)的產(chǎn)品是否有缺陷。

　　圖4示出了用于引導(dǎo)用戶將相機定位在相對于圖像對象的預(yù)定義有利位置的示例操作。第一接收操作402接收指定坐標系錨定點的真實世界對象的輸入圖像。第二接收操作404接收定義真實世界錨定點和預(yù)期圖像對象位置之間的空間偏移(例如，2D或3D向量)的輸入。例如，系統(tǒng)管理員可以在初始化或設(shè)置過程中向應(yīng)用程序提供接收操作402和404的輸入。

　　在應(yīng)用的圖像捕獲模式期間，識別操作406識別場景中先前被指定為坐標系定位點的真實世界對象。坐標系定義操作408定義具有與所識別的真實世界對象的位置相對應(yīng)的原點的三維坐標系，并且第一投影操作410使用所定義的空間偏移將第一虛擬目標投影到預(yù)期的圖像對象位置。第二投影操作412將第二虛擬目標投影到相對于系統(tǒng)攝像頭在空間中保持固定的位置。當用戶移動攝像頭時，更新操作414動態(tài)地更新第二虛擬目標在三維坐標系內(nèi)的位置，以確保第二虛擬目標投影到相對于攝像頭的固定偏移處連續(xù)出現(xiàn)，使第一個數(shù)字目標移動到位，以反映攝像頭的運動。在一個實現(xiàn)中，更新操作414基于攝像頭和真實世界錨定點之間的相對距離改變第一數(shù)字目標的大小。

　　確定操作416確定第一虛擬目標和第二虛擬目標是否滿足預(yù)定義的空間關(guān)系。在不同的實現(xiàn)中，預(yù)定義的空間關(guān)系可能取決于兩個目標的一個或多個相對位置、方向和/或大小。如果確定操作416確定不滿足預(yù)定義的空間關(guān)系，則繼續(xù)更新操作414，直到確定滿足預(yù)定義的空間關(guān)系，此時圖像捕獲操作418捕獲圖像對象的圖像。

　　名為“Mixed reality image capture and smart inspection”的微軟專利最初在2020年11月提交，并在日前由美國專利商標局公布。