蘋(píng)果專(zhuān)利可為AR/VR用戶(hù)進(jìn)行基于人工智能的全身身體姿態(tài)建模

　　對(duì)于特定的XR體驗(yàn)而言，系統(tǒng)需要首先理解用戶(hù)的身體姿勢(shì)，比如說(shuō)能夠呈現(xiàn)用戶(hù)映射行為的虛擬化身應(yīng)用。在所述示例中，如果用戶(hù)活動(dòng)物理身體的一部分，則虛擬化身需要活動(dòng)相應(yīng)的虛擬身體部分。又例如，特定的XR體驗(yàn)可以根據(jù)用戶(hù)的身體姿勢(shì)改變渲染的場(chǎng)景畫(huà)面，亦即場(chǎng)景能夠隨著用戶(hù)的移動(dòng)而發(fā)生變化。所以，生成用戶(hù)身體姿勢(shì)信息的技術(shù)十分重要。

　　在一份名為”Generating body pose information“的專(zhuān)利申請(qǐng)中，蘋(píng)果就描述了這樣一種技術(shù)。

　　發(fā)明描述的系統(tǒng)主要用于生成人體姿勢(shì)信息。在各種實(shí)現(xiàn)中，設(shè)備包括非暫時(shí)性存儲(chǔ)器和與非暫時(shí)性存儲(chǔ)器耦合的一個(gè)或多個(gè)處理器。在一個(gè)實(shí)現(xiàn)中，所述方法包括通過(guò)設(shè)備獲取與人體對(duì)應(yīng)的一組圖像。在一個(gè)實(shí)現(xiàn)中，所述方法包括生成由多個(gè)分支神經(jīng)網(wǎng)絡(luò)系統(tǒng)定義的人體姿勢(shì)模型。

　　在一個(gè)實(shí)現(xiàn)中，多個(gè)分支神經(jīng)網(wǎng)絡(luò)系統(tǒng)中的每個(gè)神經(jīng)網(wǎng)絡(luò)系統(tǒng)共享第一各自人體關(guān)節(jié)的至少相鄰部分，從而對(duì)第一各自身體關(guān)節(jié)和第二各自身體關(guān)節(jié)之間的人體各自部分進(jìn)行建模。

　　接下來(lái)，所述方法包括向多個(gè)分支神經(jīng)網(wǎng)絡(luò)系統(tǒng)中的第一個(gè)神經(jīng)網(wǎng)絡(luò)和第二個(gè)神經(jīng)網(wǎng)絡(luò)提供相應(yīng)部分的圖像集。在一個(gè)實(shí)現(xiàn)中，第一個(gè)神經(jīng)網(wǎng)絡(luò)和第二神經(jīng)網(wǎng)絡(luò)對(duì)應(yīng)于相鄰的身體部分。

　　最后，至少由多個(gè)神經(jīng)網(wǎng)絡(luò)系統(tǒng)中的第一個(gè)神經(jīng)網(wǎng)絡(luò)和第二個(gè)神經(jīng)網(wǎng)絡(luò)聯(lián)合確定第一個(gè)相應(yīng)身體關(guān)節(jié)和第二個(gè)相應(yīng)身體關(guān)節(jié)的姿勢(shì)信息。

　　簡(jiǎn)單來(lái)說(shuō)，用戶(hù)設(shè)備首先獲取人體的圖像，然后再由神經(jīng)網(wǎng)絡(luò)處理得出身體的姿勢(shì)信息。在獲取人體的姿勢(shì)信息后，系統(tǒng)可以將其用于支持各種XR用例，比如說(shuō)需要映射用戶(hù)物理行為的虛擬化身應(yīng)用。

　　圖1A是上述神經(jīng)網(wǎng)絡(luò)的樹(shù)數(shù)據(jù)結(jié)構(gòu)圖示。在各種實(shí)現(xiàn)中，諸如圖5A中的移動(dòng)設(shè)備可以利用樹(shù)數(shù)據(jù)結(jié)構(gòu)來(lái)建模人體。

　　作為非限制性示例，樹(shù)數(shù)據(jù)結(jié)構(gòu)100包括表示人體各個(gè)身體關(guān)節(jié)的各種節(jié)點(diǎn)，以及表示人體各個(gè)身體部分的各種描邊。

　　在各種實(shí)現(xiàn)中，樹(shù)數(shù)據(jù)結(jié)構(gòu)100包括表示人體頭部的頭部節(jié)點(diǎn)102(根節(jié)點(diǎn))。在圖1A的示例中，樹(shù)數(shù)據(jù)結(jié)構(gòu)100包括表示人體衣領(lǐng)區(qū)域的衣領(lǐng)區(qū)域節(jié)點(diǎn)104，右肩關(guān)節(jié)的右肩節(jié)點(diǎn)106R，左肩關(guān)節(jié)的左肩節(jié)點(diǎn)106L……諸如此類(lèi)。

　　在各種實(shí)現(xiàn)中，樹(shù)數(shù)據(jù)結(jié)構(gòu)100包括表示人體頸部的頸部描邊120，表示右肩的右肩邊緣122R，左肩的左肩邊緣122L……諸如此類(lèi)。

　　然后，如前所示，每個(gè)分支神經(jīng)網(wǎng)絡(luò)集對(duì)關(guān)節(jié)之間的人體相應(yīng)部分建模。例如，在一個(gè)實(shí)現(xiàn)中，身體姿勢(shì)模型包括對(duì)頸部建模的頸部神經(jīng)網(wǎng)絡(luò)140，對(duì)右肩建模的右肩神經(jīng)網(wǎng)絡(luò)142R，對(duì)左肩建模的左肩神經(jīng)網(wǎng)絡(luò)142L……諸如此類(lèi)。

　　在各種實(shí)現(xiàn)中，樹(shù)數(shù)據(jù)結(jié)構(gòu)100的每個(gè)節(jié)點(diǎn)與位置和方向相關(guān)聯(lián)。所以，每個(gè)節(jié)點(diǎn)與一組位置坐標(biāo)(例如x、y和z)和一組角度坐標(biāo)(例如α、β和γ)相關(guān)聯(lián)。例如，頭部節(jié)點(diǎn)102與一組位置坐標(biāo)(x.sub.0、y.sub.0、z.sub.0)和一組角度坐標(biāo)(.alpha..sub.0、.beta..sub.0、.gamma..sub.0)相關(guān)聯(lián)。

　　在一個(gè)實(shí)現(xiàn)中，每個(gè)神經(jīng)網(wǎng)絡(luò)確定神經(jīng)網(wǎng)絡(luò)建模的身體部分的姿勢(shì)信息(例如位置/方向)。例如，在一個(gè)實(shí)現(xiàn)中，頸部神經(jīng)網(wǎng)絡(luò)140確定頸部的姿勢(shì)信息(例如，位置/方向)。類(lèi)似地，軀干神經(jīng)網(wǎng)絡(luò)148確定軀干的姿勢(shì)信息(例如，位置/方向)。

　　接下來(lái)，系統(tǒng)可以整合各個(gè)分支神經(jīng)網(wǎng)絡(luò)確定的姿勢(shì)信息，并得出最終的人體姿勢(shì)信息。

　　相關(guān)專(zhuān)利：Apple Patent | Generating body pose information

　　名為”Generating body pose information“的蘋(píng)果專(zhuān)利申請(qǐng)最初在2021年4月提交，并在日前由美國(guó)專(zhuān)利商標(biāo)局公布。