蘋果專利分享在Vision Pro多人手勢(shì)交互情景下確認(rèn)用戶的身份

　　XR環(huán)境允許多個(gè)用戶在XR環(huán)境中與虛擬對(duì)象或彼此交互。例如，用戶可以使用手勢(shì)與XR環(huán)境的組件進(jìn)行交互。但對(duì)于多人會(huì)話，系統(tǒng)需要確認(rèn)執(zhí)行手勢(shì)的用戶的身份。在名為“Confirm gesture identity”的專利申請(qǐng)中，蘋果就介紹了這樣一種方法。

　　圖2描述了根據(jù)一個(gè)或多個(gè)實(shí)施例的用于配準(zhǔn)用戶的手的流程圖。流程圖200從205開始，電子設(shè)備檢測(cè)用戶的存在。電子設(shè)備可以檢測(cè)到用戶正在啟動(dòng)使用電子設(shè)備�；蛘呖蛇x地，用戶可以主動(dòng)啟動(dòng)配準(zhǔn)過程以配準(zhǔn)用戶的手并識(shí)別用戶和手勢(shì)等。

　　在210，電子設(shè)備提示用戶開始配準(zhǔn)過程。根據(jù)一個(gè)實(shí)施例，電子設(shè)備可以提示用戶在攝像頭視場(chǎng)中呈現(xiàn)用戶的手。電子設(shè)備可以提示用戶用手執(zhí)行特定的手勢(shì)。在其他實(shí)施例中，用戶可以選擇要用于識(shí)別的手部特征。

　　在215，電子設(shè)備嘗試提取特征�；�于電子設(shè)備接收到的傳感器數(shù)據(jù)，如圖像信息、深度信息等，系統(tǒng)可以自動(dòng)提取特征。特征可以包括顯性特征，如骨骼長度、皺紋、神經(jīng)布局、指甲、手掌線條、毛發(fā)和手臂長度等，特征可以包括隱性特征，如通過深度學(xué)習(xí)識(shí)別的特征。在

　　在220，確定是否提取手特征。例如，可以收集傳感器數(shù)據(jù)以提取足夠的特征以唯一標(biāo)識(shí)用戶。如果收集到的傳感器數(shù)據(jù)不足以提取手部特征，則流程圖繼續(xù)進(jìn)行225。流程圖繼續(xù)到215，其中電子設(shè)備嘗試根據(jù)用戶對(duì)附加指令的響應(yīng)提取手部特征。

　　返回到220，如果確定了手特征已提取，則流程圖繼續(xù)230。其中，電子設(shè)備可選地檢索與用戶的配置文件相關(guān)聯(lián)的附加用戶特征。

　　流程圖在235結(jié)束，其中電子設(shè)備100將在215提取的手特征與來自230的附加用戶特征相關(guān)聯(lián)，從而更新配準(zhǔn)存儲(chǔ)。例如，本地配準(zhǔn)可以存儲(chǔ)在用戶配置文件存儲(chǔ)中。

　　圖3描述了在基于手部特征的環(huán)境中識(shí)別用戶的流程圖300。流程圖從305開始，在這里檢測(cè)到用戶開始使用電子設(shè)備。如果用戶正在與電子設(shè)備進(jìn)行物理交互，則用戶可以開始使用電子設(shè)備。

　　作為另一個(gè)例子，電子設(shè)備可以檢測(cè)到在設(shè)備前面有一只或多只手的存在。電子設(shè)備可以確定檢測(cè)到的手與設(shè)備的新用戶相關(guān)，例如未在當(dāng)前用戶列表中列出的用戶。

　　在310，授權(quán)模塊可以使用傳感器數(shù)據(jù)檢測(cè)場(chǎng)景中的手。例如，來自傳感器的傳感器數(shù)據(jù)可用于掃描物理環(huán)境的可見區(qū)域以尋找手。

　　在315，任選地，確定手是否可見。如果用戶的手不可見，則確定無法收集足夠的傳感器數(shù)據(jù)來執(zhí)行手的識(shí)別或追蹤程序。如果手不夠明顯，則流程圖繼續(xù)到320，并為用戶提供額外的說明。額外的指令可以是提示用戶展示他們的手，將他們的手移動(dòng)到一個(gè)更好的位置或執(zhí)行更好的姿勢(shì)等等。

　　返回到315，如果手可見，當(dāng)在310的場(chǎng)景中檢測(cè)到手時(shí)，則流程圖繼續(xù)325。例如，可以提取場(chǎng)景中可見的每只手的手部特征，例如，可以在310檢測(cè)到傳感器數(shù)據(jù)�？梢詧�(zhí)行檢查以確保充分提取手的特征。

　　在330，任選地，確定是否提取手特征。如果可以從特征中確定手的身份，則確定手的特征可以充分提取。另外，或者，如果所得到的特征允許手部追蹤，則特征可以充分提取。如果所述網(wǎng)絡(luò)提供的特征與低置信度值相關(guān)聯(lián)，則所述流程圖可繼續(xù)進(jìn)行320。

　　所述流程圖繼續(xù)到335，其中身份驗(yàn)證模塊基于所述手的特征確定用戶身份。驗(yàn)證模塊可以引用用戶特征存儲(chǔ)器。用戶特征存儲(chǔ)可以基于手部特征引用用戶身份，例如在325提取的手部特征。

　　另外，驗(yàn)證模塊可以確定特定的手是否屬于設(shè)備的用戶，或者手是否屬于環(huán)境中的另一個(gè)用戶。因此，身份驗(yàn)證模塊可以確定是應(yīng)該追蹤還是應(yīng)該忽略這個(gè)識(shí)別的手。

　　如果在340確定了一個(gè)身份，則流程圖繼續(xù)345。在345，電子設(shè)備為所確定的身份執(zhí)行預(yù)先指定的動(dòng)作。換句話說，電子設(shè)備對(duì)識(shí)別的響應(yīng)可以根據(jù)檢測(cè)到的用戶的身份而有所不同。例如，電子設(shè)備的應(yīng)用程序或過程可以根據(jù)與所確定的身份相關(guān)聯(lián)的用戶偏好數(shù)據(jù)加載或執(zhí)行。作為另一個(gè)示例，與用戶配置文件相關(guān)聯(lián)的數(shù)據(jù)可以通過電子設(shè)備進(jìn)行訪問，例如特定于用戶的應(yīng)用程序配置文件、屬于用戶的數(shù)據(jù)存儲(chǔ)等等。

　　返回到340，如果確定身份尚未確定，則流程圖在350結(jié)束，并生成通知以指示用戶未配準(zhǔn)。換句話說，電子設(shè)備可能會(huì)顯示手或手無法識(shí)別的指示�？梢蕴崾居脩�，例如通過視覺或音頻手段開始配準(zhǔn)過程，諸如上述關(guān)于圖2所述的配準(zhǔn)過程。

　　在一個(gè)實(shí)施例中，如果未確定身份，則可以生成通知以指示對(duì)電子設(shè)備的未授權(quán)訪問的嘗試。

　　圖4示出在所述環(huán)境中管理用戶身份的技術(shù)的流程圖。流程圖從405開始，系統(tǒng)檢測(cè)到環(huán)境中的一只手�？梢酝ㄟ^電子設(shè)備的一個(gè)或多個(gè)傳感器基于對(duì)物理環(huán)境視圖的掃描來檢測(cè)手的存在。掃描可以包括一個(gè)目標(biāo)區(qū)域，并從所述區(qū)域收集感官數(shù)據(jù)。

　　在410，確定在環(huán)境中是否檢測(cè)到未識(shí)別的手。身份驗(yàn)證模塊可以嘗試提取檢測(cè)到的手的特征，以確定所提取的特征是否與例如在用戶配置文件存儲(chǔ)或配準(zhǔn)存儲(chǔ)中配準(zhǔn)的特征匹配。最初，環(huán)境中的每只手都可以是一只未識(shí)別的手，因?yàn)樯矸蒡?yàn)證模塊會(huì)對(duì)環(huán)境中檢測(cè)到的所有手執(zhí)行識(shí)別過程。

　　這樣，流程圖400繼續(xù)415，并為另一只手提取手的特征。應(yīng)該理解的是，首先提取環(huán)境中檢測(cè)到的第一只手的手特征，然后提取“下一只”手的手特征。它可以是除第一只手以外的任何手。

　　在420，基于在415提取的手部特征確定用戶身份。身份驗(yàn)證模塊可以將所提取的手部特征與配準(zhǔn)特征進(jìn)行比較，以識(shí)別與所述特征相關(guān)聯(lián)的用戶配置文件。

　　根據(jù)一個(gè)實(shí)施例，可以在提取的特征和配準(zhǔn)的特征之間確定特征空間中的特征距離，并將其與閾值距離進(jìn)行比較，以確定是否可以確定身份。

　　流程圖繼續(xù)425，在這里可以確定是否可以確定身份。如果在425確定了身份，則流程圖將繼續(xù)區(qū)440。在440，系統(tǒng)可以將用戶配置文件或與用戶配置文件相關(guān)的其他識(shí)別信息附加到當(dāng)前環(huán)境中存在的活動(dòng)用戶列表中。

　　返回到塊425，如果確定不能根據(jù)提取的手特征確定身份，則流程圖繼續(xù)435。在435，為手部特征創(chuàng)建新的用戶記錄。新的用戶記錄可以與匿名用戶記錄相關(guān)聯(lián)，或可以與其他未知用戶相關(guān)聯(lián)。

　　然后，流程圖可以繼440，其中，新用戶記錄可以與用于未知用戶身份的匿名、用于手的手區(qū)域、已識(shí)別的特征等一起追加到當(dāng)前用戶列表中。流程圖返回到410，確定是否在環(huán)境中檢測(cè)到任何其他未識(shí)別的手。

　　回到410，如果確定在環(huán)境中沒有檢測(cè)到更多身份不明的手，則流程圖繼續(xù)區(qū)45。在445，通過將相似的手連接到共同的身份來刪除重復(fù)的身份。

　　流程圖在450結(jié)束，其中左手和右手確定為公共身份。例如，對(duì)于每個(gè)包含兩只手的身份，兩只手將根據(jù)左手和右手特征識(shí)別和配準(zhǔn)為左手和右手。例如，拇指相對(duì)于同一只手的手掌的位置可以表明這只手是左手還是右手。

　　在一個(gè)實(shí)施例中，可以修改當(dāng)前用戶的列表，以表明刪除重復(fù)身份和每個(gè)用戶的確定的左手和右手，以及手部區(qū)域等。在一個(gè)實(shí)施例中，管理當(dāng)前用戶的列表可允許系統(tǒng)追蹤環(huán)境中個(gè)體的計(jì)數(shù)。

　　名為“Confirm gesture identity”的蘋果專利申請(qǐng)最初在2023年3月提出，并在日前由美國專利商標(biāo)局公布。