微軟專利為AR/VR社交提出基于手勢識別呈現(xiàn)emoji表情

　　emoji表情符號提供了一種在計算設備表達情感的機制。emoji可以采用靜態(tài)或動畫圖形的形式，并通常以面部或其他傳達情感的圖像的形式出現(xiàn)。用戶可以在電子郵件、聊天或短信等各種通信媒體使用emoji。

　　emoji同時可以在其他設置中共享，例如用戶通過頭戴式顯示器設備參與的虛擬空間。在這樣的虛擬空間中，用戶可以使用手持控制器并通過由頭顯顯示的用戶界面交互共享表情。

　　然而，導航用戶界面可能會分散用戶對共享虛擬空間的注意力，并降低用戶對共享虛擬空間的沉浸感。其他頭顯設備可能允許使用手勢顯示emoji，但由于可識別姿勢的限制，系統(tǒng)可能只能識別有限的一組手勢。

　　在名為“Hand gesture-based emojis”的專利申請中，微軟介紹了一種基于鉸接式手勢追蹤數(shù)據(jù)來識別手勢，并作為響應，顯示與所識別手勢相對應的表情emoji的技術。專利同時介紹了與識別多個用戶執(zhí)行的手勢和在用戶之間共享表情有關的示例，以及與將eomji與對象相關聯(lián)的示例。

　　鉸接式手部追蹤數(shù)據(jù)包括用戶手的多個關節(jié)的位置和旋轉(zhuǎn)數(shù)據(jù)，其允許準確檢測可映射到多種emoji的各種手勢。在另一方面，手勢可以為用戶提供一種自然直觀的機制，從而在虛擬空間中與他人共享各種emoji并表達情感，而不涉及輸入設備操作和用戶界面導航。

　　圖1示出了通過集成顯示器104呈現(xiàn)的共享虛擬空間100，并從兩個不同的角度說明了虛擬空間，一個顯示在圖的左側(cè)，另一個顯示在右側(cè)。首先參考左側(cè)，顯示器104呈現(xiàn)視場106內(nèi)的虛擬圖像，其作為頭顯設備102提供的混合現(xiàn)實體驗的一部分。顯示器104和混合現(xiàn)實體驗可以采取任何合適的形式。

　　在所描繪的示例中，佩戴頭顯設備102的用戶110用右手112執(zhí)行豎起大拇指的手勢。可以基于表示手部112的手部追蹤數(shù)據(jù)，頭顯設備102識別豎起大拇指的手勢并識別對應于該手勢的emoji 114。在一個實施例中，頭顯設備102可包括傳感器子系統(tǒng)(例如包括圖像傳感器)，用于檢測手勢并形成表示檢測到的手勢的手部追蹤數(shù)據(jù)。頭顯設備102然后經(jīng)由顯示器104呈現(xiàn)emoji 114，顯示器104包括表示做出豎起大拇指手勢的手的圖形圖標的顯示。

　　占用物理環(huán)境108的另一用戶116經(jīng)由頭顯設備118參與共享虛擬空間100。除了在顯示器104呈現(xiàn)emoji 114之外，頭顯設備102向頭顯設備118發(fā)送指令以呈現(xiàn)emoji，并且可以指定共享虛擬空間100中顯示emoji的位置�？梢允褂萌魏魏线m的信道來發(fā)送指令，例如頭顯設備102和118之間的直接通信信道(例如藍牙、WiFi、光學或聲學信道)，或者間接網(wǎng)絡連接。響應于接收到指令，頭顯設備118在在指定位置呈現(xiàn)emoji 114。

　　表示由頭顯設備102和118追蹤的手勢的手部追蹤數(shù)據(jù)可以參考為共享虛擬空間100和頭顯設備建立的共享坐標系。在圖1中，所述共享坐標系由坐標軸121表示。可以使用任何合適的機制來建立共享坐標系。在一個示例中，用戶以光學方式掃描放置在環(huán)境中的代碼，從而在共享坐標系內(nèi)的已知位置加入共享體驗。

　　作為另一示例，物理環(huán)境中的一個或多個物理對象或位置可以預先指定為頭顯設備識別的空間錨，并且用戶可以基于檢測到的空間錨在共享坐標空間中的已知位置加入共享體驗。作為另一個選項，用戶可以通過在頭顯設備運行的應用程序?qū)Ш降竭x定的服務器地址并在所述地址加入服務器，從而加入共享體驗。在這樣的示例中，用戶可以在預選的初始位置加入體驗。共享坐標系提供了一個共享參考框架，多個設備可以與之共享共同顯示的虛擬內(nèi)容，包括但不限于本文所述的emoji。

　　在圖1的示例中，用戶110和116處于公共物理環(huán)境中。在其他示例中，emoji可在共享相同共享虛擬空間但位于不同物理環(huán)境中的頭顯設備之間發(fā)送。圖2描繪了其中用戶202在第一物理環(huán)境208中佩戴的頭顯設備200與遠程用戶206在第二不同物理環(huán)境210中佩戴的頭顯設備204共享emoji的示例。

　　在所描繪的示例中，用戶202用右手212執(zhí)行豎起大拇指手勢。頭顯設備200例如經(jīng)由機載圖像感測子系統(tǒng)識別所述手勢。作為響應，與豎起大拇指手勢相關聯(lián)的emoji 216經(jīng)由顯示器214呈現(xiàn)。頭顯設備200進一步向遠程頭顯設備204發(fā)送指令(例如，通過諸如因特網(wǎng)的網(wǎng)絡)，指示遠程頭顯設備在共享虛擬空間中的指定位置呈現(xiàn)emoji。在接收到指令時，遠程頭顯設備204經(jīng)由顯示器218呈現(xiàn)emoji 216。

　　在一個示例中，每個頭顯設備200和204同時可以呈現(xiàn)相應用戶的表示。其中，頭顯設備200呈現(xiàn)遠程用戶206的手部表示220和遠程用戶的頭部表示222。類似地，遠程頭顯設備204呈現(xiàn)用戶202的手部表示224和用戶的頭部表示226。在一個示例中，一個或多個表示可以基于傳感器數(shù)據(jù)設置動畫。例如，可以對手部表示220和/或224進行動畫處理。類似地，頭部表示222和226可以基于所表示用戶的頭部姿勢和/或注視方向來設置動畫。在一個示例中，頭部表示222和226的眼睛可以設置動畫以反映所表示用戶的注視方向。例如，用戶頭部姿勢可通過機載運動傳感子系統(tǒng)確定。

　　圖3示出了示例管道300的示意圖，可使用示例管道300形成鉸接式手部追蹤數(shù)據(jù)。在302，接收包括捕獲人手306的幀304的圖像幀序列。在一個示例中，頭顯設備可經(jīng)由機載圖像感測子系統(tǒng)捕獲幀序列。在其他示例中，非機載圖像傳感子系統(tǒng)可獲取幀序列，例如布置在物理環(huán)境內(nèi)的固定位置中的圖像傳感器。圖像傳感子系統(tǒng)可包括任何合適類型的圖像傳感器，包括但不限于深度傳感器、彩色圖像傳感器和立體圖像傳感器。

　　在幀304中捕獲的圖像數(shù)據(jù)，以及可能來自幀序列中的其他幀的圖像數(shù)據(jù)，可用于生成鉸接式手部追蹤數(shù)據(jù)。圖3示出了可與鉸接式手部追蹤數(shù)據(jù)相關聯(lián)的示例手部模型308。手部模型308包括由點表示的多個關節(jié)310，其中一個或多個關節(jié)分別與坐標系中的三維位置和三維旋轉(zhuǎn)相關聯(lián)，坐標系由坐標軸312表示。

　　鉸接式手部跟蹤數(shù)據(jù)可以以任何合適的方式從幀304和可能的其他幀中導出。在一個示例中，可通過將幀304輸入訓練的機器學習分類器來確定關節(jié)位置和旋轉(zhuǎn)。分類器配置為對每個關節(jié)的可能狀態(tài)進行分類。在其他示例中，可使用幾何擬合過程確定關節(jié)位置和旋轉(zhuǎn)。幾何擬合過程將檢測到的手擬合到手部模型308，然后使用代價函數(shù)調(diào)整模型以將模型擬合到幀304。

　　關節(jié)310的位置和旋轉(zhuǎn)共同代表手306的姿勢�；�于從幀304導出的手306的姿勢，以及從其他幀導出的手的潛在其他姿勢，可以識別手執(zhí)行的手勢。識別器可以使用幾何方法，其中基于手部模型308的一個或多個關節(jié)310的位置和/或旋轉(zhuǎn)來識別手勢。在一個示例中，識別器可以評估一個或多個關節(jié)310之間的距離，可以考慮手模型308的一個或多個手指的卷曲，和/或可以在識別手勢時考慮其他合適的幾何因素。作為一個示例，可以基于識別拇指朝上，并且其他四個手指卷曲來識別豎起大拇指的手勢。

　　在其他示例中，識別器可以利用經(jīng)過訓練的機器學習功能來基于鉸接手數(shù)據(jù)的特征識別手勢。任何合適的機器學習功能可用于檢測手勢，包括基于神經(jīng)網(wǎng)絡的識別器，例如生成性對抗網(wǎng)絡和/或深度神經(jīng)網(wǎng)絡。在這樣的示例中，機器學習功能可以為多個手勢中的每一個輸出圖像數(shù)據(jù)幀(從中導出鉸接的手數(shù)據(jù))表示所述手勢的概率。

　　在其他示例中，深度神經(jīng)網(wǎng)絡可用于將圖像數(shù)據(jù)(例如從RGB圖像幀導出)直接映射到手勢，而無需首先確定關節(jié)手數(shù)據(jù)。在又一其它實例中，多層感知器可用于識別手勢，例如通過在一系列幀上評估手關節(jié)并評估相對于頭部關節(jié)或腕關節(jié)310b的關節(jié)位置。

　　手勢識別的其他方法可以將手勢與與手勢相關的模板相匹配。例如，表示手勢的模板可以通過計算手模型308的每個關節(jié)310相對于參考關節(jié)的位置和/或旋轉(zhuǎn)來確定。對于給定的手姿勢，可以確定表示手勢的每個關節(jié)與模板的對應關節(jié)之間的距離�？梢詫Σ煌�的模板執(zhí)行所述過程，以確定與手姿勢最匹配的模板。然后可以識別與所識別的模板相對應的手勢。在一個示例中，可以為一個常見手勢確定多個模板。例如，多個模板可以表示常見手勢的變化。

　　另外，在一個示例中，手勢識別可以考慮手的速度。

　　在識別手勢320之后，可以識別對應于手勢的emoji并將其呈現(xiàn)在顯示設備上。如上所述，在識別與手勢320相對應的emoji時，可以從識別手勢的顯示設備向一個或多個其他顯示設備發(fā)送指令322。指令322指示其他顯示設備呈現(xiàn)emoji。

　　在一個示例中，指令可伴隨圖像數(shù)據(jù)(例如在emoji呈現(xiàn)期間顯示的圖形圖標或動畫)、音頻數(shù)據(jù)(例如在emoji呈現(xiàn)期間播放)、指定在共享坐標空間中顯示emoji的位置的位置數(shù)據(jù)、要與emoji和/或其他數(shù)據(jù)關聯(lián)的目標(例如用戶顯示設備、手、物理對象、虛擬對象)的標識等等。

　　圖3同時描繪了手部追蹤數(shù)據(jù)324的輸出。其中，手部追蹤數(shù)據(jù)324可由顯示設備與其他顯示設備共享。例如參考圖2，頭顯設備200可以與遠程頭顯設備204共享手跟蹤數(shù)據(jù)，使得遠程頭顯設備能夠基于用戶202的手勢呈現(xiàn)用戶202的手部表示224。在一個示例中，共享的手部追蹤數(shù)據(jù)324可包括所有鉸接式手部追蹤數(shù)據(jù)。在其他示例中，手部追蹤數(shù)據(jù)可表示鉸接式手部跟蹤數(shù)據(jù)的簡化版本。

　　在一些示例中，顯示設備可以基于識別多個用戶執(zhí)行的手勢來呈現(xiàn)emoji。圖4A-4B顯示了兩個用戶的擊掌手勢。在圖4A中，佩戴頭顯設備402的用戶400使用其右手404向遠程用戶發(fā)起擊掌手勢，遠程用戶通過頭顯設備呈現(xiàn)的頭部表示406示出。遠程用戶的右手同時通過手部表示407來顯示，其中手部表示可以基于遠程用戶的手勢來動畫化。

　　碰撞器408與用戶400的右手404相關聯(lián)，碰撞器410與遠程用戶的右手相關聯(lián)。在此示例中，基于識別碰撞器408和410之間的交叉點，識別用戶400和遠程用戶之間的擊掌手勢。交叉點檢測可由任一或兩個頭顯設備執(zhí)行，并且頭顯設備可就手勢的檢測彼此通信。

　　名為“Hand gesture-based emojis”的微軟專利申請最初在2020年5月提交，并在日前由美國專利商標局公布。