高通專利為AR/VR頭顯佩戴用戶提供自拍解決方案

　　通過諸如智能手機(jī)等設(shè)備進(jìn)行自拍或者請(qǐng)求別人為自己拍照十分輕松。但對(duì)于XR頭戴式系統(tǒng)而言，由于形狀參數(shù)的固有限制，生成一種自拍圖像或者生成一種看似由他人拍攝的圖片可能十分具有挑戰(zhàn)性。

　　在名為“Image capturing in extended reality environments”的專利申請(qǐng)中，高通就提出了一種解決方案。

　　簡單來說，用戶可以“左手臂前伸，手指擺出V字勝利手勢(shì)，并且露齒笑嘴角上揚(yáng)”。這時(shí)，可以利用頭顯的朝外攝像頭拍攝用戶手臂前伸的手指V字姿勢(shì)和現(xiàn)實(shí)世界場(chǎng)景，并通過頭顯的朝內(nèi)攝像頭拍攝用戶的面容表情。然后，再通過機(jī)器學(xué)習(xí)模型整合成完整的姿勢(shì)，并形成一種看似自拍，或者是由他人拍攝的圖片感覺。

　　但需要注意的是，由于身體姿勢(shì)必須前伸以置于朝外攝像頭視場(chǎng)之內(nèi)，并且由于頭顯的固有遮擋限制，朝內(nèi)攝像頭無法確切完整地捕獲面容，疊加機(jī)器學(xué)習(xí)模型的性能問題，所以最終合成的圖像無法精準(zhǔn)表達(dá)用戶的姿勢(shì)表情。換句話說，這種方法存在自己的限制。

　　在一個(gè)實(shí)施例中，自我圖像捕獲系統(tǒng)可以包括自我圖像啟動(dòng)引擎、Avatar引擎、背景幀引擎和合成引擎。自我圖像幀可以對(duì)應(yīng)于“自拍圖片”或“自拍視頻”。

　　自我圖像啟動(dòng)引擎可以檢測(cè)與自拍圖片或自拍視頻過程類似的用戶輸入，例如語音命令、手勢(shì)輸入以及其他類型的輸入�；�于檢測(cè)到用戶輸入，自我圖像捕獲系統(tǒng)可以啟動(dòng)自圖像捕獲過程中的下一操作。

　　在一個(gè)示例中，Avatar引擎可以確定用戶姿勢(shì)。用戶姿勢(shì)可以包括和/或?qū)��?yīng)于用戶的身體特征。例如，用戶姿勢(shì)可以包括用戶當(dāng)前的表情、情感、手勢(shì)、肢體位置等中的一個(gè)或多個(gè)。另外，用戶姿勢(shì)可以包括和/或?qū)��?yīng)于用戶在真實(shí)世界環(huán)境中的物理位置。Avatar引擎可以使用各種追蹤和/或掃描技術(shù)和/或算法來確定用戶姿勢(shì)。例如，Avatar引擎3以使用一種或多種眼動(dòng)追蹤技術(shù)、SLAM技術(shù)、六自由度定位技術(shù)、身體追蹤技術(shù)、面部表情追蹤技術(shù)、計(jì)算機(jī)視覺技術(shù)、其任何組合或其他追蹤和/或掃描技術(shù)來確定用戶姿勢(shì)。

　　接下來，Avatar引擎可以生成反映用戶姿勢(shì)的用戶Avatar。需要注意，“Avatar”可以包括用戶全部或部分的任何數(shù)字表示。在一個(gè)示例中，用戶的Avatar可以包括計(jì)算機(jī)生成圖像數(shù)據(jù)�？蛇x地，用戶的Avatar可以包括由圖像傳感器捕獲的圖像數(shù)據(jù)。另外，用戶的Avatar可以對(duì)應(yīng)于用戶的抽象(例如卡通)表示或用戶的照片真實(shí)表示。

　　在一個(gè)實(shí)施例中，Avatar引擎可以使用一個(gè)或多個(gè)機(jī)器學(xué)習(xí)系統(tǒng)和/或算法生成Avatar。例如，Avatar引擎可以基于使用機(jī)器學(xué)習(xí)算法對(duì)與各種用戶姿勢(shì)相關(guān)聯(lián)的圖像數(shù)據(jù)訓(xùn)練的機(jī)器學(xué)習(xí)模型來生成Avatar。例如，Avatar引擎可以捕獲用戶的一個(gè)或多個(gè)圖像，例如用戶的全身圖像。基于捕捉到的用戶姿勢(shì)和用戶的一個(gè)或多個(gè)圖像，機(jī)器學(xué)習(xí)模型可以輸出姿勢(shì)與用戶相似的Avatar。例如，如果捕捉到的用戶姿勢(shì)包括特定手勢(shì)(例如“勝利手勢(shì)”)，則機(jī)器學(xué)習(xí)模型可以輸出與做出特定手勢(shì)的用戶相似的Avatar。

　　在一個(gè)實(shí)施例中，背景幀引擎可以捕獲一個(gè)或多個(gè)背景幀。背景幀可以包括和/或?qū)��?yīng)于將成為自我圖像的背景的任何幀。

　　基于由Avatar引擎生成的Avatar和由背景幀生成的背景幀，合成引擎可以生成自我圖像幀(或一系列自我圖像幀)。例如，合成引擎可以將生成的Avatar疊加到背景幀。如上所述，Avatar引擎可以確定與用戶姿勢(shì)相對(duì)應(yīng)的用戶3D位置。因此，合成引擎可以將Avatar疊加在相應(yīng)位置的背景幀內(nèi)。通過這種方式，AR/VR頭顯就可以生成看似自拍或者看似由他人拍攝的圖像感覺。

　　如圖4A-4C所示。在圖4A中，穿戴VR頭顯的用戶可以前伸左手并擺出V字勝利手勢(shì)。這時(shí)，系統(tǒng)可以通過頭顯的前置攝像頭拍攝左手前伸并且手指擺出V字勝利手勢(shì)的圖像，以及周遭環(huán)境的背景圖像。同時(shí)，系統(tǒng)可以確定頭顯用戶在環(huán)境中的特定位置。

　　然后，Avatar引擎可以渲染Avatar318。同時(shí)，Avatar引擎304可以使用不同的機(jī)器學(xué)習(xí)模型來生成Avatar318(A)和318(B)。在一個(gè)示例中，Avatar引擎304(A)可以使用低保真度機(jī)器學(xué)習(xí)模型生成Avatar318(A)，并使用高保真都模型生成Avatar318(B)，如圖4B和4C所示。換句話說，Avatar318(B)可以是Avatar318的高保真版本，一種更接近于圖片真實(shí)感的版本。

　　然后，合成引擎308可以在生成自圖像幀316時(shí)用Avatar318(A)或Avatar318(B)疊加到對(duì)應(yīng)于用戶在環(huán)境中的位置。

　　名為“Image capturing in extended reality environments”的高通專利申請(qǐng)最初在2021年2月提交，并在日前由美國專利商標(biāo)局公布。