微軟專利為AR/VR身體姿態(tài)捕捉提出預(yù)測(cè)鉸接對(duì)象姿態(tài)技術(shù)

　　使用虛擬表示準(zhǔn)確地表示人類用戶的真實(shí)世界姿態(tài)通常需要關(guān)于用戶身體部位的位置/方向的相對(duì)詳細(xì)的信息，而這種信息并不總是可用。例如，當(dāng)頭戴式設(shè)備用于提供虛擬現(xiàn)實(shí)體驗(yàn)時(shí)，系統(tǒng)可能僅接收與用戶頭部和可選手有關(guān)的空間信息。在大多數(shù)情況下，這不足以準(zhǔn)確地重現(xiàn)人類用戶的真實(shí)姿態(tài)。

　　所以在名為“Pose prediction for articulated object”的專利申請(qǐng)中，微軟提出了一種預(yù)測(cè)鉸接對(duì)象的姿態(tài)的技術(shù)。特別地，機(jī)器學(xué)習(xí)模型接收到鉸接對(duì)象的n個(gè)不同關(guān)節(jié)的空間信息，其中n個(gè)關(guān)節(jié)小于鉸接對(duì)象的所有關(guān)節(jié)。

　　例如在人類用戶的情況下，n個(gè)關(guān)節(jié)可以包括人類用戶的頭部關(guān)節(jié)和/或一個(gè)或兩個(gè)手腕關(guān)節(jié)，它們與詳細(xì)說(shuō)明用戶頭部和/或手的參數(shù)的空間信息相關(guān)聯(lián)。

　　機(jī)器學(xué)習(xí)模型已訓(xùn)練為接收鉸接對(duì)象的n+m個(gè)關(guān)節(jié)的輸入空間信息，其中m大于等于1。例如，在初始訓(xùn)練期間，機(jī)器學(xué)習(xí)模型會(huì)接收到與鉸接對(duì)象的幾乎所有關(guān)節(jié)相對(duì)應(yīng)的輸入數(shù)據(jù)。所述n+m個(gè)關(guān)節(jié)可包括所鉸接對(duì)象的每一個(gè)關(guān)節(jié)。

　　但在其他示例中，n+m個(gè)關(guān)節(jié)可包括少于鉸接對(duì)象的所有關(guān)節(jié)。在訓(xùn)練過(guò)程中，提供給機(jī)器學(xué)習(xí)模型的輸入數(shù)據(jù)可能會(huì)逐漸被屏蔽。 m個(gè)節(jié)點(diǎn)中的特定節(jié)點(diǎn)對(duì)應(yīng)的輸入數(shù)據(jù)可以用表示掩碼節(jié)點(diǎn)的預(yù)定義值替換，或者干脆省略。

　　換句話說(shuō)，機(jī)器學(xué)習(xí)模型訓(xùn)練成基于關(guān)于鉸接對(duì)象的各種可移動(dòng)部分的位置/方向的逐漸減少的信息來(lái)準(zhǔn)確預(yù)測(cè)鉸接對(duì)象的姿態(tài)。

　　通過(guò)這種方式，機(jī)器學(xué)習(xí)模型可以基于稀疏輸入在運(yùn)行時(shí)準(zhǔn)確地預(yù)測(cè)鉸接對(duì)象的姿態(tài)。微軟指出，這種技術(shù)可以有益地允許對(duì)諸如人類用戶的鉸接對(duì)象的真實(shí)世界姿態(tài)的精確再現(xiàn)，而不需要關(guān)于鉸接對(duì)象的每個(gè)關(guān)節(jié)的方向的廣泛信息。

　　換句話說(shuō)，發(fā)明可以通過(guò)更準(zhǔn)確地再現(xiàn)人類用戶的真實(shí)世界姿勢(shì)來(lái)提供改進(jìn)人機(jī)交互的技術(shù)優(yōu)勢(shì)，例如提高虛擬現(xiàn)實(shí)體驗(yàn)的沉浸感，和/或提高手勢(shì)識(shí)別系統(tǒng)的準(zhǔn)確性。

　　另外，所述技術(shù)可以通過(guò)減少必須作為姿態(tài)預(yù)測(cè)過(guò)程的輸入而收集的數(shù)據(jù)量，從而在準(zhǔn)確地重現(xiàn)人類用戶的真實(shí)姿態(tài)的同時(shí)減少計(jì)算資源的消耗。

　　圖2示出用于預(yù)測(cè)鉸接對(duì)象的姿態(tài)的示例方法200。

　　在202處，接收鉸接對(duì)象的n個(gè)關(guān)節(jié)的空間信息。系統(tǒng)接收到鉸接對(duì)象的n個(gè)關(guān)節(jié)的空間信息，其中包含的關(guān)節(jié)少于鉸接對(duì)象的所有關(guān)節(jié)。將關(guān)節(jié)的空間信息表示為所連接的身體部分的六自由度位置和方向，這可用于推斷關(guān)節(jié)的狀態(tài)。

　　作為一個(gè)示例，所述n個(gè)關(guān)節(jié)可包括人體的頭部關(guān)節(jié)，所述頭部關(guān)節(jié)的空間信息可詳細(xì)描述人體頭部的參數(shù)。另外，所述n個(gè)關(guān)節(jié)可包括人體的一個(gè)或多個(gè)腕關(guān)節(jié)，所述一個(gè)或多個(gè)腕關(guān)節(jié)的空間信息可詳細(xì)描述人體的一只或多只手的參數(shù)。

　　圖3顯示了人類用戶。人類用戶有一個(gè)頭300和兩只手302A和302B。計(jì)算系統(tǒng)可以接收人類用戶的一個(gè)或多個(gè)關(guān)節(jié)的空間信息，其可以包括頭部和/或手腕關(guān)節(jié)。

　　所述鉸接對(duì)象的n個(gè)關(guān)節(jié)的空間信息可由一個(gè)或多個(gè)傳感器輸出的定位數(shù)據(jù)導(dǎo)出。傳感器可以集成到一個(gè)或多個(gè)由人類用戶的相應(yīng)身體部位持有或佩戴的設(shè)備之中。

　　例如，傳感器可以包括一個(gè)或多個(gè)集成到頭戴式顯示設(shè)備和/或手持控制器中的慣性測(cè)量單元。作為另一個(gè)例子，傳感器可以包括一個(gè)或多個(gè)攝像頭。

　　圖3示意性地說(shuō)明了不同類型的傳感器，其中來(lái)自傳感器的輸出可以包括或可用于導(dǎo)出空間信息。具體地，人類用戶在其頭部300佩戴頭戴式顯示設(shè)備304。

　　另外，人類用戶手持位置傳感器306A和306B，所述位置傳感器可配置為檢測(cè)并向頭顯 304和/或配置為接收空間信息的另一計(jì)算系統(tǒng)報(bào)告用戶手部的運(yùn)動(dòng)。

　　回到圖2，在204中，將n個(gè)關(guān)節(jié)的空間信息傳遞給先前訓(xùn)練過(guò)的機(jī)器學(xué)習(xí)模型，模型接收n+m個(gè)關(guān)節(jié)的空間信息作為輸入，其中m>=1。換句話說(shuō)，機(jī)器學(xué)習(xí)模型接收的關(guān)節(jié)的空間信息比之前訓(xùn)練的機(jī)器學(xué)習(xí)模型接收的關(guān)節(jié)要少。

　　在206中，從機(jī)器學(xué)習(xí)模型接收作為輸出的關(guān)節(jié)對(duì)象的姿態(tài)預(yù)測(cè)，所述預(yù)測(cè)至少基于n個(gè)關(guān)節(jié)的空間信息，并且不包含它們的關(guān)節(jié)的空間信息。換句話說(shuō)，即便沒有提供m個(gè)關(guān)節(jié)的空間信息，機(jī)器學(xué)習(xí)模型都可以預(yù)測(cè)關(guān)節(jié)對(duì)象的完整姿態(tài)。

　　這個(gè)過(guò)程如圖4所示，圖4顯示了一個(gè)示例機(jī)器學(xué)習(xí)模型400。

　　在圖4中，機(jī)器學(xué)習(xí)模型接收到空間信息402，對(duì)應(yīng)三個(gè)不同的關(guān)節(jié)J1、J2、J3。關(guān)節(jié)的空間信息可以采用任何合適的計(jì)算機(jī)數(shù)據(jù)的形式，而所述數(shù)據(jù)指定或可用于導(dǎo)出與關(guān)節(jié)相連的身體部位的位置和/或方向。

　　例如，空間信息可以直接指定身體部位的位置和方向，和/或空間信息可以指定關(guān)節(jié)相對(duì)于一個(gè)或多個(gè)旋轉(zhuǎn)軸的一個(gè)或多個(gè)旋轉(zhuǎn)。在圖4中，關(guān)節(jié)J1、J2、J3對(duì)應(yīng)于人類用戶的頭部關(guān)節(jié)404A和兩個(gè)手腕關(guān)節(jié)404B/404C，如圖用戶身體上疊加的陰影圓圈所示。

　　在本例中，n個(gè)關(guān)節(jié)包括三個(gè)關(guān)節(jié)，分別對(duì)應(yīng)人體的頭部和手腕關(guān)節(jié)�；�于所述輸入空間信息402，所述機(jī)器學(xué)習(xí)模型輸出所述鉸接對(duì)象的預(yù)測(cè)位姿406。

　　另外，機(jī)器學(xué)習(xí)模型可以輸出與虛擬鉸接表示的關(guān)節(jié)相對(duì)應(yīng)的預(yù)測(cè)空間信息。人類用戶可以由具有卡通或非人類比例的虛擬化身Avatar表示。例如，預(yù)測(cè)的空間信息可能對(duì)應(yīng)于SMPL表示的關(guān)節(jié)。

　　換句話說(shuō)，鉸接表示的虛擬表示的關(guān)節(jié)不必與鉸接對(duì)象的關(guān)節(jié)具有1:1的對(duì)應(yīng)關(guān)系。因此，機(jī)器學(xué)習(xí)模型預(yù)測(cè)的空間信息輸出可以是針對(duì)與鉸接對(duì)象的n+m個(gè)關(guān)節(jié)不直接對(duì)應(yīng)的關(guān)節(jié)。例如，虛擬表示可能比鉸接對(duì)象具有更少的脊柱關(guān)節(jié)。

　　機(jī)器學(xué)習(xí)模型可以用任何合適的方式進(jìn)行訓(xùn)練。在一個(gè)實(shí)施例中，機(jī)器學(xué)習(xí)模型可能先前使用具有鉸接對(duì)象的ground truth標(biāo)簽的訓(xùn)練輸入數(shù)據(jù)進(jìn)行訓(xùn)練。

　　換句話說(shuō)，可以為機(jī)器學(xué)習(xí)模型提供鉸接對(duì)象關(guān)節(jié)的訓(xùn)練空間信息，并標(biāo)記為指定空間信息所對(duì)應(yīng)的鉸接對(duì)象的實(shí)際姿態(tài)的ground truth標(biāo)簽。

　　如上所述，可以訓(xùn)練機(jī)器學(xué)習(xí)模型以接收n+m個(gè)關(guān)節(jié)的空間信息作為輸入。這包括，在第一次訓(xùn)練迭代中，為機(jī)器學(xué)習(xí)模型提供所有n+m個(gè)關(guān)節(jié)的訓(xùn)練輸入數(shù)據(jù)。在隨后的一系列訓(xùn)練迭代中，m個(gè)關(guān)節(jié)的訓(xùn)練輸入數(shù)據(jù)可以逐漸被屏蔽。

　　例如，在第二次訓(xùn)練迭代中，m個(gè)關(guān)節(jié)中的第一個(gè)關(guān)節(jié)可以被屏蔽，其中訓(xùn)練數(shù)據(jù)集中關(guān)節(jié)的空間信息替換為表示被屏蔽關(guān)節(jié)的預(yù)定義值，或者干脆省略。

　　作為示例。在第三次訓(xùn)練迭代中，m個(gè)關(guān)節(jié)中的第二個(gè)關(guān)節(jié)可以被屏蔽，以此類推，直到m個(gè)關(guān)節(jié)都被屏蔽，并且只向機(jī)器學(xué)習(xí)模型提供了n個(gè)關(guān)節(jié)的空間信息。

　　這一過(guò)程用圖5a-5d說(shuō)明。具體而言，在圖5A中，為機(jī)器學(xué)習(xí)模型400提供了一個(gè)訓(xùn)練輸入數(shù)據(jù)集。在本實(shí)施例中，訓(xùn)練輸入數(shù)據(jù)包括與所述鉸接對(duì)象的多個(gè)不同姿態(tài)相對(duì)應(yīng)的空間信息，包括第一姿態(tài)502A和第二姿態(tài)502B。

　　在圖5A中，為機(jī)器學(xué)習(xí)模型提供了鉸接對(duì)象的n+m個(gè)關(guān)節(jié)的空間信息。在人體的簡(jiǎn)化表示中，每個(gè)代表關(guān)節(jié)的圓圈都使用了白色填充模式來(lái)表示這一點(diǎn)。但在圖5B中，504A被屏蔽，如圖所示，黑色填充圖案用于表示接頭504A的圓圈。

　　換句話說(shuō)，圖5A可以表示訓(xùn)練過(guò)程的第一次訓(xùn)練迭代，其中向機(jī)器學(xué)習(xí)模型提供了所有n+m個(gè)關(guān)節(jié)的空間信息。圖5B可以表示訓(xùn)練過(guò)程的第二次訓(xùn)練迭代，其中m個(gè)關(guān)節(jié)中的第一個(gè)關(guān)節(jié)504A被屏蔽。

　　在圖5C中，所述鉸接表示的m個(gè)關(guān)節(jié)中的第二關(guān)節(jié)504B被遮擋。同樣，在圖5D中，m個(gè)關(guān)節(jié)中的第三個(gè)關(guān)節(jié)被遮擋�？梢猿掷m(xù)進(jìn)行多次訓(xùn)練迭代，直到m個(gè)關(guān)節(jié)中的每個(gè)關(guān)節(jié)的空間信息被屏蔽，并且只向機(jī)器學(xué)習(xí)模型提供n個(gè)關(guān)節(jié)的空間信息。

　　以上描述了鉸接對(duì)象為人體全身的場(chǎng)景。但鉸接對(duì)象可以采取其他形式。

　　如圖7所示，鉸接對(duì)象是人手，而不是整個(gè)人體。具體而言，圖7顯示了一個(gè)示例機(jī)器學(xué)習(xí)模型700。

　　機(jī)器學(xué)習(xí)模型700接收關(guān)節(jié)J1、J2和J3的空間信息，它們對(duì)應(yīng)于一個(gè)鉸接物體的三個(gè)關(guān)節(jié)704A-C，在本例中采用人手706的形式。

　　具體來(lái)說(shuō)，在這種情況下，n個(gè)關(guān)節(jié)包括人手的一個(gè)或多個(gè)手指關(guān)節(jié)。一個(gè)或多個(gè)手指關(guān)節(jié)的空間信息詳細(xì)描述了人手的一個(gè)或多個(gè)手指或手指段的參數(shù)。例如，空間信息可以指定手的手指的位置/方向，和/或應(yīng)用于手關(guān)節(jié)的旋轉(zhuǎn)。

　　可以用任何合適的方法收集關(guān)節(jié)的空間信息，例如通過(guò)位置傳感器708。作為一個(gè)示例，位置傳感器可以采用配置為對(duì)人手成像的攝像頭形式。作為另一個(gè)示例，位置傳感器可以包括合適的射頻天線，其配置為將人手表面暴露于電磁場(chǎng)，并評(píng)估天線處的電磁場(chǎng)阻抗如何受到導(dǎo)電人體皮膚的運(yùn)動(dòng)和接近的影響。

　　基于輸入的空間信息702，機(jī)器學(xué)習(xí)模型輸出一組預(yù)測(cè)的空間信息710。空間信息710可構(gòu)成所述鉸接對(duì)象的預(yù)測(cè)位姿。如上所述，這樣的空間信息可以表示為鉸接對(duì)象的身體部位的位置/方向。

　　名為“Pose prediction for articulated object”的微軟專利申請(qǐng)最初在2022年6月提交，并在日前由美國(guó)專利商標(biāo)局公布。