這項Avatar專利，讓我看到了未來蘋果生態(tài)與AR/VR頭顯的融合

　　蘋果研發(fā)AR/VR頭顯幾乎已經(jīng)是公開的秘密，尤其是從近年來該公司申請的一系列專利中，可以看到各類與AR/VR相關(guān)的技術(shù)，涵蓋了UI、UX、硬件、光學(xué)、數(shù)據(jù)傳輸、傳感器等多個方面。比如前不久，USPTO就公布了一項來自蘋果的3D Avatar相關(guān)專利，其中描述了一種低成本3D形象掃描方案，可使用XR頭顯、手機(jī)、平板電腦、電腦攝像頭來掃描頭部、手部、軀干等不同的身體部位，生成的虛擬化身動作由用戶控制，可在AR/VR等3D場景中移動。

　　這項專利相當(dāng)有趣，它設(shè)想了將移動設(shè)備和AR/VR頭顯搭配，來生成3D虛擬形象的界面和流程。如果未來蘋果真的發(fā)布AR/VR頭顯，該專利描述的方案也足夠?qū)嵱茫�似乎利用現(xiàn)有的技術(shù)就能實現(xiàn)。當(dāng)然我們知道，通常大公司申請專利并不一定會應(yīng)用專利中的技術(shù)，也可能是為了預(yù)防競爭、豐富技術(shù)積累等等。不過，也不排除部分專利內(nèi)容實際應(yīng)用的可能，通過分析專利我們多少可以了解蘋果在相關(guān)技術(shù)上的探索，以及未來的潛在發(fā)展方向等等。

　　關(guān)于Avatar生成

　　據(jù)了解，這項專利的標(biāo)題為“在3D環(huán)境中表現(xiàn)Avatar的界面”，主要描述了如何生成3D Avatar，以及使用Avatar與XR場景互動的實現(xiàn)方式。專利中涉及了大量和全身Avatar相關(guān)細(xì)節(jié)，比如可以用移動設(shè)備的攝像頭掃描用戶面部(類似于Face ID功能)，用XR頭顯的多攝像頭系統(tǒng)追蹤用戶的手、腳、軀干、手臂、肩膀等身體部位。

　　具體的使用流程如下：

　　1)面部掃面界面：使用者需摘除眼鏡，并保持頭部靜止，然后將移動設(shè)備的攝像頭圍著頭部旋轉(zhuǎn)。該功能似乎不需要360°頭部建模，因此使用者自己用手掃描面部兩側(cè)和正臉即可，無需其他人協(xié)助。

　　有趣的是，專利中描述的頭部掃描機(jī)制有點(diǎn)類似于手機(jī)上的指紋錄入，需要經(jīng)過多次頭部捕捉才能完成頭部建模。另外，你還需要掃描各種表情，比如微笑、張嘴等等。

　　2)面部掃描完成后，便可以設(shè)置Avatar參數(shù)，比如身高、鏡框等飾品。

　　3)之后，你需要戴上AR/VR頭顯來掃描雙手。

　　目前，Meta Reality Labs也在探索基于移動設(shè)備的輕量化3D面部捕捉方案，從此前曝光的Codec Avatar研究進(jìn)度來看，Meta已經(jīng)可以用iPhone 12的前置鏡頭來進(jìn)行高保真的3D面部捕捉和重建，還可以合成全新的3D視角和表情，效果足夠優(yōu)秀。該方案基于iPhone 12的Face ID相機(jī)模組，F(xiàn)ace ID是目前市面上最先進(jìn)的移動3D面部掃描方案之一，足以輔助AR/VR頭顯進(jìn)行面部追蹤和捕捉。如果利用部分iPhone配備的LiDAR傳感器掃描人臉，效果還會更精準(zhǔn)。

　　從此前的預(yù)測來看，蘋果AR/VR頭顯將配備多組3D傳感器，用于追蹤眼球和面部表情變化，并用來控制Animoji等動畫虛擬頭像。如果結(jié)合iPhone端面部掃描，蘋果AR/VR用戶將可以自然生成自己的3D形象，并在AR/VR中使用，蘋果產(chǎn)品生態(tài)可以很容易做到這樣的功能。

　　而手勢識別部分，目前Quest通過外部攝像頭和計算機(jī)視覺算法已經(jīng)能追蹤手部節(jié)點(diǎn)，未來蘋果AR/VR頭顯應(yīng)該也會內(nèi)置某種手勢識別模塊。

　　關(guān)于交互方式

　　完成3D面部掃描后，用戶將扮演Avatar，在XR場景中通過視覺、觸覺、聽覺、味覺和嗅覺來感知物理環(huán)境，并與之互動。在AR模式中，系統(tǒng)可生成虛擬物體(如樹木、建筑物)并與物理環(huán)境融合，系統(tǒng)可為虛擬物體渲染與環(huán)境光匹配的光影。甚至，還可以通過傳感器對物理環(huán)境中的物體進(jìn)行復(fù)制，復(fù)制的虛擬物體可具有類似的形狀或顏色。

　　蘋果在去年WWDC上曾公布一款基于攝影測量法的3D掃描工具，可將任何物體掃描成3D模型，相當(dāng)于利用數(shù)字技術(shù)對實際物體進(jìn)行高保真“復(fù)制”。掃描生成的3D模型為USDZ文件格式，可直接嵌入到網(wǎng)頁中預(yù)覽、以AR的形式查看并通過iMessage與其他人分享。雖然該工具目前未在C端落地，但此前展示的demo視頻看起來效果十分驚艷，3D模型和實物看起來相當(dāng)接近。

　　除了用動作和XR環(huán)境交互外，用戶還可以通過視覺、聽覺、觸覺、味覺和嗅覺來交互，或是發(fā)出語音指令來調(diào)整虛擬對象的特征。

　　在一些XR場景中，用戶只能聽到聲音，并和音頻互動。比如，XR可識別用戶的頭部轉(zhuǎn)動，實時調(diào)整空間音頻和視覺效果，以還原聲音和光線在真實空間中的特性。專利還指出，XR中的音頻可支持“通透模式”，即有選擇性的將環(huán)境音和計算機(jī)生成的音頻融合。我們知道，蘋果AirPods Pro/Max耳機(jī)就支持“通透模式”，在聽歌時可主動降低環(huán)境噪音，未來如果應(yīng)用于XR設(shè)備，將允許用戶與周圍的人、環(huán)境之間保持互動。

　　有趣的是，你可以在XR中用音頻代表自己，或是選擇可視化的Avatar，大概就像是在微信中你可以選擇語音或視頻通話那樣。

　　另外，從蘋果往年專利可以看出，其習(xí)慣在專利中將混合現(xiàn)實、虛擬現(xiàn)實和擴(kuò)展現(xiàn)實(XR)分開定義，其中XR指的是一種部分或完全模擬的環(huán)境，人們可以通過電子系統(tǒng)感知這個環(huán)境并與之交互。在XR環(huán)境中，用戶的物理運(yùn)動是實時追蹤的，并在XR中得到表示，同時XR環(huán)境也會對用戶的動作做出反饋，以模擬物理交互。

　　而XR體驗可能來自于多種圖像生成組件，如頭顯、顯示屏、投影儀、觸摸屏等等。還可能配備多個傳感器，包括圖像傳感器、光傳感器、深度傳感器、觸覺傳感器、方向傳感器、溫度傳感器、位置傳感器、運(yùn)動傳感器、速度傳感器、XR地圖生成單元等等。

　　關(guān)于頭顯硬件

　　蘋果在專利背景中指出：近年來，AR/VR計算系統(tǒng)的開發(fā)顯著增加，與AR/VR內(nèi)容交互的方式也多種多樣，比如攝像頭手勢識別、手柄、搖桿、觸控表面、觸屏等等。用戶通過這些交互方式，可控制AR圖像、AR視頻、AR文本、AR圖標(biāo)等對象。

　　蘋果認(rèn)為，目前AR/VR的一些交互方式比較麻煩、低效、可獲得的反饋有限。比如相比于手勢交互，手柄對初學(xué)者不夠友好，而且具有一定重量，容易打破沉浸感。另外，如果想要追蹤全身動作，則可能需要全身體感服，或是多個追蹤模塊，操作起來比較復(fù)雜，而且笨重。這些輸入方式的計算量比較大，比較耗電，對于需要電池供電的AR/VR一體機(jī)來講并不友好。

　　因此，需要一種更加有效、直觀、容易理解的人機(jī)交互方式。

　　硬件方面，蘋果Avatar專利方案需要某種圖像生成計算機(jī)系統(tǒng)，以及一個或多個具有計算生成能力的輸入設(shè)備，如虛擬現(xiàn)實、混合現(xiàn)實顯示設(shè)備，或是臺式計算機(jī)、移動設(shè)備(手機(jī)、筆記本、平板電腦、手持設(shè)備)、可穿戴電子設(shè)備(智能手表)。

　　其硬件設(shè)備可能配備觸控板、攝像頭組、觸屏、眼球追蹤模塊、手勢追蹤模塊。此外，還可以搭配體感和音頻配件。此外，或采用圖形用戶界面(GUI)，支持觸控筆、指尖輸入、觸控和手勢輸入、眼球輸入、語音輸入。用戶也可以通過全身姿態(tài)來和GUI交互，姿態(tài)通過攝像頭等傳感器來捕捉。

　　用戶可通過這些交互方式在GUI中進(jìn)行繪畫、修圖、演示、文字處理、制作圖標(biāo)、玩游戲、打電話、開視頻會議、發(fā)郵件、發(fā)信息、健身、拍照、拍視頻、看網(wǎng)頁、聽音樂、記筆記、看視頻等等。參考：PatentlyApple，USPTO