高通專利探索用電腦、手機等設(shè)備協(xié)助AR/VR頭顯追蹤對象

　　XR設(shè)備可以執(zhí)行諸如手部追蹤這樣的對象追蹤任務(wù)。然而，如果用戶的手部離開傳感器的視場或者出現(xiàn)遮擋，則手部追蹤將無法正常工作。另外，對象追蹤是一個高計算成本的過程，可以快速耗盡XR設(shè)備的電量。

　　針對這個問題，高通在名為“Collaborative tracking”的專利申請中提出，可以利用第三方設(shè)備來幫助執(zhí)行追蹤任務(wù)。簡單來說，如果XR設(shè)備由于各種問題而無法繼續(xù)執(zhí)行手部追蹤等任務(wù)，則可以由具有追蹤傳感器的家用安全攝像頭、筆記本電腦、智能手機、智能電視和第三方XR設(shè)備等來為XR設(shè)備提供追蹤信息，從而實現(xiàn)一種協(xié)作式追蹤。例如，攝像頭正對著XR設(shè)備用戶的家用安全攝像頭可以追蹤用戶的手勢，并將相關(guān)信息傳輸給XR設(shè)備。

　　這份發(fā)明主要描述了成像設(shè)備(例如XR設(shè)備)使用來自一個或多個第三方設(shè)備的一個或多個數(shù)據(jù)流。

　　圖5是示出了用戶佩戴頭顯的透視圖。頭顯的第一攝像頭和/或第二攝像頭可用作XR系統(tǒng)的傳感器。頭顯的視場520表示第一攝像頭和/或第二攝像頭的視場。頭顯的視場520使用虛線示出。用戶的手525位于傳感器視場520之中，所以頭顯的XR系統(tǒng)能夠檢測、提取和/或追蹤用戶手部525相對于真實世界環(huán)境的特征，從而識別用戶手部525的姿態(tài)。

　　基于手525的姿態(tài)，頭顯可以確定基于姿態(tài)的用戶輸入，例如用于控制頭顯的用戶界面的操作。

　　在另一示例中，頭顯可以基于確定的手勢來確定虛擬對象的顯示位置。在一個示例中，虛擬對象可以是劍，并且呈現(xiàn)成如同由用戶真實手部525握住一樣。虛擬對象的位置和方向取決于手525的姿態(tài)。

　　圖6A示出了用戶佩戴頭顯的另一透視圖。頭顯的視場620使用虛線示出。由于用戶的手525不在頭顯的視場620中，所以，頭顯無法識別和/或追蹤手525在圖6A中的位置。

　　當出現(xiàn)這種情況時，可以利用高通提出的協(xié)作式追蹤方法，請求第三方設(shè)備提供追蹤幫助。

　　在一個示例中，檢測系統(tǒng)可以確定頭顯失去對手525的追蹤。這時，頭顯可以向第三方攝像頭610發(fā)送手部追蹤輔助請求640。第三方攝像頭610可以是第三方設(shè)備的一部分，例如筆記本電腦、智能電視、智能家居設(shè)備、移動設(shè)備(例如智能手機)、平板電腦或其他第三方設(shè)備。

　　頭顯可以與第三方攝像頭610的設(shè)備進行通信協(xié)商。作為響應(yīng)，第三方攝像頭610可以將手部追蹤數(shù)據(jù)645作為數(shù)據(jù)流的一部分發(fā)送到頭顯。手部追蹤數(shù)據(jù)645可以包括由第三方攝像頭610的一個或多個傳感器(例如一個或更多個圖像傳感器)捕獲的傳感器數(shù)據(jù)。

　　由虛線描述的615是第三方攝像頭610的視場。第三方攝像頭610的視場615包括用戶325的手525。在一個示例中，手部追蹤數(shù)據(jù)645可以由第三方攝像頭610進行部分處理，例如在第三方攝像頭610將手部追蹤數(shù)據(jù)646發(fā)送到頭顯的XR系統(tǒng)210之前，可以在第三方設(shè)備檢測特征、提取特征、追蹤特征和/或執(zhí)行一個或多個其他操作。

　　通過這種方式，即便手525不在頭顯的視場620中，但頭顯依然可以基于手部追蹤數(shù)據(jù)645確定的手勢來確定用戶正在執(zhí)行的一個或多個基于姿勢的輸入。

　　圖6B示出了另一透視圖650。其中，由于遮擋情況，頭顯無法追蹤用戶的手部。

　　類似上面的描述，頭顯可以確定遮擋物660在頭顯視場670中遮擋了手部525。這時，圖6B的頭顯可以向第三方攝像頭610發(fā)送手部追蹤輔助請求640。頭顯可以與第三方攝像頭610的設(shè)備進行通信協(xié)商。作為響應(yīng)，第三方攝像頭610可以將手部追蹤數(shù)據(jù)645作為數(shù)據(jù)流的一部分發(fā)送到頭顯。

　　在一個示例中，第三方攝像頭610可以是獨立的攝像頭設(shè)備，例如家用安全攝像頭。在其他示例中，圖6A和6B的第三方攝像頭610可以是另一頭顯710(如圖7所示)、智能手機或筆記本電腦等等。

　　圖7示出了第三方頭顯710的透視圖700。

　　頭顯310可以確定由于各種原因而無法執(zhí)行追蹤任務(wù)。例如，圖7示出了頭顯310檢測到低電池狀態(tài)735。

　　基于頭顯310檢測到電池電量不足狀態(tài)735的警報730，頭顯310可以向第三方頭顯710發(fā)送手部追蹤740的協(xié)助請求。頭顯310可以與第三方頭顯710進行通信協(xié)商。作為響應(yīng)，正對頭顯310的第三方頭顯710可以將手部追蹤數(shù)據(jù)745作為數(shù)據(jù)流的一部分發(fā)送到頭顯310。手部追蹤數(shù)據(jù)745可以包括由第三方頭顯710的一個或多個傳感器捕獲的傳感器數(shù)據(jù)。

　　在一個示例中，手部追蹤數(shù)據(jù)745可以由第三方頭顯710進行部分處理，從而減少頭顯310的計算資源消耗，。

　　因為頭顯310能夠?qū)⑹植孔粉櫲蝿?wù)中的至少一部分卸載到第三方頭顯710，所以頭顯310可以減少其電池負載并延長續(xù)航。

　　在一個示例中，頭顯310可以采取其他方法來進一步減少電池消耗。例如，關(guān)閉或以其他方式禁用其攝像頭和/或其他傳感器;又或者是降低來自其傳感器的傳感器數(shù)據(jù)的捕獲質(zhì)量或速率，例如從90fps圖像捕獲降低到30fps捕獲。在一個示例中，頭顯310可以部分或完全依賴于第三方頭顯710的攝像頭和/或其他傳感器。

　　名為“Collaborative tracking”的高通專利申請最初在2021年6月提交，并在日前由美國專利商標局公布。