Meta MR開發(fā)平臺(tái)Presence Platform大更新 釋放Quest Pro MR潛力

　　Meta在2021年的Connect大會(huì)亮相了Presence Platform。這個(gè)擁有大量機(jī)器感知和人工智能功能的工具集旨在幫助你構(gòu)建逼真的混合現(xiàn)實(shí)、交互和語音體驗(yàn)，從而在用戶的物理世界中無縫融合虛擬內(nèi)容。對(duì)于今天發(fā)布Quest Pro，它將能解鎖全彩混合現(xiàn)實(shí)，并為Presence Platform的核心堆棧引入一個(gè)新的支柱：社交臨在。

　　1. 社交臨在和Movement SDK

　　今天Meta發(fā)布了Presence Platform的最新補(bǔ)充Movement SDK。Movement SDK由眼睛追蹤、面部追蹤和三點(diǎn)身體追蹤功能組成，而它們將有助于解鎖全新的臨場(chǎng)維度。Movement SDK允許Avatar使用Quest Pro的朝內(nèi)傳感器實(shí)時(shí)模擬面部動(dòng)作�，F(xiàn)在，開發(fā)者可以通過眼動(dòng)追蹤和面部追蹤實(shí)現(xiàn)栩栩如生的Avatar，從而令虛擬角色可以看起來和感覺更像真人。值得一提的是，這是驅(qū)動(dòng)Horizon Worlds和Holizon Workrooms中的Avatar的相同底層技術(shù)。

　　2. 眼動(dòng)追蹤和面部追蹤功能

　　Movement SDK包括Quest Pro新開發(fā)的眼動(dòng)追蹤和面部追蹤功能。頭顯內(nèi)有五個(gè)指向面部的紅外傳感器：三個(gè)指向眼睛和上半臉，兩個(gè)指向下半臉。面部追蹤由機(jī)器學(xué)習(xí)模型驅(qū)動(dòng)，可允許Quest Pro檢測(cè)各種面部運(yùn)動(dòng)。

　　Movement SDK輸出的抽象面部運(yùn)動(dòng)數(shù)據(jù)由基于面部動(dòng)作編碼系統(tǒng)Facial Action Coding System(FACS)的線性混合形狀表示。FACS是一系列0到1的值，與一組通用面部運(yùn)動(dòng)相對(duì)應(yīng)，例如皺眉。在將信號(hào)從Face Tracking API 映射到自己的角色rig時(shí)，開發(fā)者可以輕松保留用戶原始動(dòng)作的語義含義。

　　隨著Movement SDK的引入，Meta現(xiàn)在能夠支持第三方角色具現(xiàn)的社交臨在。例如，團(tuán)隊(duì)創(chuàng)建了一個(gè)稱之為Aura的外星人角色。她可以眨眼，左右移動(dòng)嘴巴等等。

　　正如你在上面視頻所示，Aura的面部和眼部動(dòng)作可用于社交活動(dòng)，并展示了機(jī)器學(xué)習(xí)驅(qū)動(dòng)的高分辨率角色的潛力。Aura將于本月中下旬作為可下載示例托管至GitHub。你可以自由查看幕后情況，看看Meta是如何實(shí)現(xiàn)重定目標(biāo)和rig映射。屆時(shí)可注意相關(guān)的文檔，它將為映射到不同的具體角色提供指導(dǎo)和最佳實(shí)踐。

　　除了社交臨在之外，開發(fā)者同時(shí)可以估計(jì)某人在VR中的視線作為輸入，從而構(gòu)建全新的交互和體驗(yàn)，類似于手動(dòng)追蹤。這意味著人們可以根據(jù)自己的視線所見來與虛擬內(nèi)容進(jìn)行交互。

　　Meta表示，他們從一開始就把隱私問題納入了考慮范圍。應(yīng)用程序永遠(yuǎn)無法通過所述功能訪問用戶眼睛和臉的原始圖像數(shù)據(jù)(或圖片)，它們只能通過一組數(shù)字來估計(jì)人們?cè)赩R中的注視位置和面部運(yùn)動(dòng)。開發(fā)者和Meta無法訪問人們的眼睛和面部圖像，因?yàn)樗鼈冊(cè)谔幚砗髸?huì)被刪除，并且永遠(yuǎn)不會(huì)離開頭顯本地。

　　這家公司表示：“我們非常期待開發(fā)者使用眼動(dòng)追蹤和面部追蹤來提高VR社交體驗(yàn)的創(chuàng)造性方法。”

　　3. Body Tracking API

　　Movement SDK同時(shí)包括Body Tracking API，后者可根據(jù)控制器或手相對(duì)于頭顯的位置來使用三點(diǎn)追蹤。肢體語言是社交體驗(yàn)的一個(gè)重要組成緩解。若看到角色的身體動(dòng)作不符合人類實(shí)際，這將會(huì)完全打破沉浸感。所以，Meta使用了大量真實(shí)人體運(yùn)動(dòng)數(shù)據(jù)集來學(xué)習(xí)和糾正簡(jiǎn)單反向運(yùn)動(dòng)學(xué)(IK)方法常見的錯(cuò)誤。

　　Body Tracking API可以在玩家使用控制器或僅使用裸手的情況下工作，并且在這兩種情況下都提供了完整的模擬上身骨骼。它同時(shí)可以自動(dòng)處理玩家放下控制器并開始使用裸手的情況，無需開發(fā)者進(jìn)行任何額外的邏輯處理。

　　Body Tracking API適用于Quest Pro和 Quest2，并會(huì)支持未來的Meta Quess設(shè)備。另外，未來幾年的Body Tracking API優(yōu)化將通過相同的API實(shí)現(xiàn)，因此你將能繼續(xù)從Meta獲得最佳的身體追蹤技術(shù)，無需切換到不同的界面。

　　Movement SDK現(xiàn)在已經(jīng)可用，所以你可以馬上開始構(gòu)建利用所述新功能的應(yīng)用程序。

　　4. 混合現(xiàn)實(shí)與場(chǎng)景理解、全彩透視和Shared Spatial Anchors

　　Meta早前已經(jīng)發(fā)布了場(chǎng)景理解功能，并分享了混合現(xiàn)實(shí)和Presence Platform的可能性，包括Quest 2和Quest Pro。

　　使用Presence Platform的混合現(xiàn)實(shí)功能，Arkio正在帶來一種更具沉浸感和影響力的體驗(yàn)，并且遠(yuǎn)遠(yuǎn)超出了平板屏幕的可能性。

　　場(chǎng)景理解功能允許開發(fā)人員創(chuàng)建適應(yīng)用戶個(gè)人空間的混合現(xiàn)實(shí)體驗(yàn)，并大大增加沉浸感。數(shù)字內(nèi)容可以與物理世界交互，支持遮擋、碰撞和導(dǎo)航網(wǎng)格等等，而所有這一切都提高了混合現(xiàn)實(shí)中的沉浸感和真實(shí)感。

　　以Sir Aphino的以下場(chǎng)景為例，它展示了場(chǎng)景理解如何在虛擬角色、物理墻壁和天花板位置，以及玩家房間內(nèi)的其他對(duì)象之間實(shí)現(xiàn)交互的基本示例。

　　下面是Meta今天發(fā)布的全新混合現(xiàn)實(shí)功能，它將幫助開發(fā)者以全新的方式融合物理世界和虛擬世界。

　　5. 全彩透視

　　Passthrough為用戶提供了查看周圍物理世界的方法，并允許開發(fā)人員構(gòu)建將虛擬內(nèi)容與物理世界混合的體驗(yàn)。自Passthrough推出以來，開發(fā)人員已經(jīng)建立了一系列非�？犰诺脑缙隗w驗(yàn)。但是，過往的體驗(yàn)都是黑白，所以下一步的發(fā)展顯然是全彩Passthrough。借助Quest Pro的先進(jìn)傳感器和4倍像素?cái)?shù)，開發(fā)人員現(xiàn)在可以構(gòu)建允許人們?cè)趨⑴c虛擬世界的同時(shí)，又保持物理空間中完整、豐富的色彩的體驗(yàn)。Meta對(duì)高級(jí)立體視覺算法的投資提供了更高質(zhì)量和更為舒適的Passthrough體驗(yàn)，在特寫和房間規(guī)�；旌犀F(xiàn)實(shí)場(chǎng)景中可以實(shí)現(xiàn)更好的深度感知和更少的視覺失真。

　　生產(chǎn)力應(yīng)用程序可以將巨大的虛擬監(jiān)視器與鍵盤和鼠標(biāo)等物理工具相結(jié)合。對(duì)于Immersed，用戶可以生成多達(dá)五個(gè)虛擬屏幕，在虛擬桌面上無干擾地工作或與他人協(xié)作。

　　利用全彩Passthrough，開發(fā)者現(xiàn)在可以進(jìn)一步指出用戶探索、體驗(yàn)和參與混合現(xiàn)實(shí)。最棒的是，使用Passthrough構(gòu)建的 Quest 2應(yīng)用程序支持Quest Pro。

　　6. Shared Spatial Anchors

　　Meta在2021年發(fā)布了允許開發(fā)人員在物理世界中錨定虛擬內(nèi)容的Spatial Anchors�，F(xiàn)在，Meta計(jì)劃帶來一個(gè)令人興奮的升級(jí)版本：允許開發(fā)者構(gòu)建本地多人游戲體驗(yàn)的Shared Spatial Anchors。

　　Shared Spatial Anchors允許開發(fā)人員為多個(gè)用戶創(chuàng)建一個(gè)共享的鎖定世界參考幀，從而構(gòu)建本地多玩家(共同定位)體驗(yàn)。例如，開發(fā)人員可以構(gòu)建兩人或更多人可以在同一物理空間中協(xié)作或一起游玩，并與相同虛擬內(nèi)容進(jìn)行交互的游戲和應(yīng)用。

　　在Connect大會(huì)，Meta展示了Magic Room的預(yù)覽，這是他們?yōu)槔�用Shared Spatial Anchors的Horizon Workroom構(gòu)建的混合現(xiàn)實(shí)體驗(yàn)。Magic Room允許任何形式的組合在共一空間協(xié)作，例如有人遠(yuǎn)程有人置身在物理空間。

　　7. 只是開始

　　Tribe XR、Painting VR、Wooorld和Figmin XR等應(yīng)用背后的開發(fā)者只是少數(shù)幾個(gè)已經(jīng)通過Presence Platform為Quest平臺(tái)開發(fā)應(yīng)用的團(tuán)隊(duì)。

　　Meta表示，隨著硬件的不斷進(jìn)步，Presence Platform將能創(chuàng)造更多的機(jī)會(huì)，并將混合現(xiàn)實(shí)、自然交互和社交臨在帶到VR，幫助我們朝實(shí)現(xiàn)元宇宙愿景繼續(xù)邁進(jìn)。