蘋果專利可為AR/VR用戶進行基于人工智能的全身身體姿態(tài)建模

　　對于特定的XR體驗而言，系統(tǒng)需要首先理解用戶的身體姿勢，比如說能夠呈現(xiàn)用戶映射行為的虛擬化身應(yīng)用。在所述示例中，如果用戶活動物理身體的一部分，則虛擬化身需要活動相應(yīng)的虛擬身體部分。又例如，特定的XR體驗可以根據(jù)用戶的身體姿勢改變渲染的場景畫面，亦即場景能夠隨著用戶的移動而發(fā)生變化。所以，生成用戶身體姿勢信息的技術(shù)十分重要。

　　在一份名為”Generating body pose information“的專利申請中，蘋果就描述了這樣一種技術(shù)。

　　發(fā)明描述的系統(tǒng)主要用于生成人體姿勢信息。在各種實現(xiàn)中，設(shè)備包括非暫時性存儲器和與非暫時性存儲器耦合的一個或多個處理器。在一個實現(xiàn)中，所述方法包括通過設(shè)備獲取與人體對應(yīng)的一組圖像。在一個實現(xiàn)中，所述方法包括生成由多個分支神經(jīng)網(wǎng)絡(luò)系統(tǒng)定義的人體姿勢模型。

　　在一個實現(xiàn)中，多個分支神經(jīng)網(wǎng)絡(luò)系統(tǒng)中的每個神經(jīng)網(wǎng)絡(luò)系統(tǒng)共享第一各自人體關(guān)節(jié)的至少相鄰部分，從而對第一各自身體關(guān)節(jié)和第二各自身體關(guān)節(jié)之間的人體各自部分進行建模。

　　接下來，所述方法包括向多個分支神經(jīng)網(wǎng)絡(luò)系統(tǒng)中的第一個神經(jīng)網(wǎng)絡(luò)和第二個神經(jīng)網(wǎng)絡(luò)提供相應(yīng)部分的圖像集。在一個實現(xiàn)中，第一個神經(jīng)網(wǎng)絡(luò)和第二神經(jīng)網(wǎng)絡(luò)對應(yīng)于相鄰的身體部分。

　　最后，至少由多個神經(jīng)網(wǎng)絡(luò)系統(tǒng)中的第一個神經(jīng)網(wǎng)絡(luò)和第二個神經(jīng)網(wǎng)絡(luò)聯(lián)合確定第一個相應(yīng)身體關(guān)節(jié)和第二個相應(yīng)身體關(guān)節(jié)的姿勢信息。

　　簡單來說，用戶設(shè)備首先獲取人體的圖像，然后再由神經(jīng)網(wǎng)絡(luò)處理得出身體的姿勢信息。在獲取人體的姿勢信息后，系統(tǒng)可以將其用于支持各種XR用例，比如說需要映射用戶物理行為的虛擬化身應(yīng)用。

　　圖1A是上述神經(jīng)網(wǎng)絡(luò)的樹數(shù)據(jù)結(jié)構(gòu)圖示。在各種實現(xiàn)中，諸如圖5A中的移動設(shè)備可以利用樹數(shù)據(jù)結(jié)構(gòu)來建模人體。

　　作為非限制性示例，樹數(shù)據(jù)結(jié)構(gòu)100包括表示人體各個身體關(guān)節(jié)的各種節(jié)點，以及表示人體各個身體部分的各種描邊。

　　在各種實現(xiàn)中，樹數(shù)據(jù)結(jié)構(gòu)100包括表示人體頭部的頭部節(jié)點102(根節(jié)點)。在圖1A的示例中，樹數(shù)據(jù)結(jié)構(gòu)100包括表示人體衣領(lǐng)區(qū)域的衣領(lǐng)區(qū)域節(jié)點104，右肩關(guān)節(jié)的右肩節(jié)點106R，左肩關(guān)節(jié)的左肩節(jié)點106L……諸如此類。

　　在各種實現(xiàn)中，樹數(shù)據(jù)結(jié)構(gòu)100包括表示人體頸部的頸部描邊120，表示右肩的右肩邊緣122R，左肩的左肩邊緣122L……諸如此類。

　　然后，如前所示，每個分支神經(jīng)網(wǎng)絡(luò)集對關(guān)節(jié)之間的人體相應(yīng)部分建模。例如，在一個實現(xiàn)中，身體姿勢模型包括對頸部建模的頸部神經(jīng)網(wǎng)絡(luò)140，對右肩建模的右肩神經(jīng)網(wǎng)絡(luò)142R，對左肩建模的左肩神經(jīng)網(wǎng)絡(luò)142L……諸如此類。

　　在各種實現(xiàn)中，樹數(shù)據(jù)結(jié)構(gòu)100的每個節(jié)點與位置和方向相關(guān)聯(lián)。所以，每個節(jié)點與一組位置坐標(例如x、y和z)和一組角度坐標(例如α、β和γ)相關(guān)聯(lián)。例如，頭部節(jié)點102與一組位置坐標(x.sub.0、y.sub.0、z.sub.0)和一組角度坐標(.alpha..sub.0、.beta..sub.0、.gamma..sub.0)相關(guān)聯(lián)。

　　在一個實現(xiàn)中，每個神經(jīng)網(wǎng)絡(luò)確定神經(jīng)網(wǎng)絡(luò)建模的身體部分的姿勢信息(例如位置/方向)。例如，在一個實現(xiàn)中，頸部神經(jīng)網(wǎng)絡(luò)140確定頸部的姿勢信息(例如，位置/方向)。類似地，軀干神經(jīng)網(wǎng)絡(luò)148確定軀干的姿勢信息(例如，位置/方向)。

　　接下來，系統(tǒng)可以整合各個分支神經(jīng)網(wǎng)絡(luò)確定的姿勢信息，并得出最終的人體姿勢信息。

　　相關(guān)專利：Apple Patent | Generating body pose information

　　名為”Generating body pose information“的蘋果專利申請最初在2021年4月提交，并在日前由美國專利商標局公布。