Meta專利探索為手機(jī)端投屏用戶提供可交互的VR互動體驗(yàn)

　　電競直播為觀眾欣賞精彩比賽的一種途徑。對于神奇的虛擬現(xiàn)實(shí)體驗(yàn)，行業(yè)同樣有在探索類似的方式，比如說基于混合現(xiàn)實(shí)錄制的投屏。這種方式可允許第三方設(shè)備用戶查看VR用戶的混合現(xiàn)實(shí)渲染體驗(yàn)。

　　然而，移動計(jì)算設(shè)備的用戶可能受限于可以查看的MR渲染內(nèi)容，以及與VR環(huán)境的交互方式。為了優(yōu)化這一體驗(yàn)，Meta在名為“Dynamic mixed reality content in virtual reality”的專利申請中提出了自己的構(gòu)思。

　　概括來說，團(tuán)隊(duì)的解決方案是允許移動計(jì)算設(shè)備用戶與MR渲染內(nèi)容和VR環(huán)境動態(tài)交互，例如允許移動計(jì)算設(shè)備用戶獨(dú)立于VR頭顯用戶，并與MR和VR內(nèi)容交互。例如，這可以允許手機(jī)用戶與VR頭顯用戶在相同的VR體驗(yàn)中進(jìn)行有趣的多人游戲。

　　在一個實(shí)施例中，移動計(jì)算設(shè)備可以在VR環(huán)境中呈現(xiàn)第一用戶的MR圖像，并且VR系統(tǒng)可以實(shí)時動態(tài)更新MR渲染，而不需要額外的設(shè)置和重新定位過程。

　　計(jì)算系統(tǒng)可以通過移動設(shè)備的一個或多個攝像頭來捕捉在VR頭顯第一用戶在現(xiàn)實(shí)世界中的一個或者多個圖像。然后，計(jì)算系統(tǒng)可以從移動計(jì)算設(shè)備向VR頭顯發(fā)送移動設(shè)備的姿勢。移動設(shè)備可以從VR頭顯接收VR環(huán)境的VR渲染，而計(jì)算系統(tǒng)可以從一個或多個圖像中分割第一用戶。

　　接下來，計(jì)算系統(tǒng)可以在移動設(shè)備實(shí)時響應(yīng)于捕獲一個或多個圖像來生成VR用戶的MR渲染。第一用戶的MR渲染可以基于第一用戶的分割圖像和VR渲染的合成。

　　Meta表示，在VR環(huán)境中生成動態(tài)MR內(nèi)容存在技術(shù)挑戰(zhàn)。一個技術(shù)挑戰(zhàn)是允許移動設(shè)備的動態(tài)移動，同時將沉浸在VR環(huán)境中的用戶的圖像保持在移動設(shè)備的圖像的框架內(nèi)。專利描述的技術(shù)主要是利用專門開發(fā)的分割算法來分割用戶的輪廓或身體，并將沉浸在VR用戶的MR渲染疊加或覆蓋在VR環(huán)境之上。同時，可以利用VR系統(tǒng)的渲染和空間映射能力，允許移動設(shè)備的用戶通過移動設(shè)備與生成的MR和VR內(nèi)容交互。

　　圖3示出了顯示Cast投屏菜單屏幕210的移動計(jì)算設(shè)備200。Cast投屏菜單屏210可以顯示示出哪個設(shè)備正在Cast投屏(例如VR顯示設(shè)備135a)以及哪個設(shè)備正在接收Cast投屏的信息(例如，移動計(jì)算設(shè)備200a)。Cast投屏菜單屏幕210可以顯示開始Cast投屏的開始按鈕215，以及用于對Cast投屏進(jìn)行故障排除的幫助菜單220。

　　光標(biāo)205可以用于導(dǎo)航移動計(jì)算設(shè)備200。例如，光標(biāo)205可以用來導(dǎo)航Cast投屏菜單屏幕210。光標(biāo)205可以指示移動計(jì)算設(shè)備100的用戶觸摸移動計(jì)算設(shè)備的屏幕的位置。

　　圖4示出了移動計(jì)算設(shè)備200顯示投屏模式菜單225的示例。投屏模式菜單224可以顯示示出不同模式的選擇信息。例如，用戶可以選擇觀看模式226，在觀看模式226中，移動計(jì)算設(shè)備200可以從VR顯示設(shè)備135的角度顯示頭顯用戶視圖。換句話說，移動計(jì)算設(shè)備200的用戶可以看到佩戴VR顯示設(shè)備的用戶102的第一人稱視圖。

　　作為另一示例，用戶可以選擇演示模式227，從而向移動計(jì)算設(shè)備200的用戶傳授如何使用相關(guān)的功能。例如，演示模式227可以用于指示用戶如何使用移動計(jì)算設(shè)備200在VR環(huán)境235周圍導(dǎo)航。

　　作為另一示例，用戶可以選擇MR模式228，并觀看真人頭顯用戶在數(shù)字世界中的動作，亦即常見的MR錄制效果。MR模式228可以允許用戶102訪問相關(guān)MR應(yīng)用和功能的MR庫231。

　　作為另一示例，用戶可以選擇游戲模式229，其中移動計(jì)算設(shè)備200的用戶可以與佩戴VR顯示設(shè)備135的第一用戶交互。移動計(jì)算設(shè)備100的用戶可以和第一用戶開玩多人游戲，或者與VR角色和/或VR環(huán)境235交互。游戲模式229可以允許用戶102訪問相關(guān)聯(lián)的多人或交互式VR應(yīng)用和功能的游戲模式庫232。

　　圖6示出了移動計(jì)算設(shè)備200顯示應(yīng)用程序庫的示例。這里，應(yīng)用程序庫是顯示一個或多個應(yīng)用程序270的MR庫231。例如，可以有動作游戲、賽車游戲和視頻流式應(yīng)用等等。

　　圖7示出了移動計(jì)算設(shè)備200顯示VR環(huán)境235的示例。當(dāng)在VR環(huán)境235中時，移動計(jì)算設(shè)備的用戶可以使用快照275功能來拍攝VR環(huán)境235。作為另一示例，用戶可以使用錄制280功能來錄制VR環(huán)境235。

　　VR顯示設(shè)備135的用戶和/或移動計(jì)算設(shè)備200的用戶可以向移動計(jì)算設(shè)備、網(wǎng)絡(luò)瀏覽器或其他終端用戶的其他交互設(shè)備Cast投屏捕獲的視圖，并且其他終端用戶可以與VR顯示設(shè)備125的用戶和或移動計(jì)算裝置200的用戶交互。

　　圖8示出了移動計(jì)算設(shè)備200在VR環(huán)境235中顯示Avatar290的示例。Avatar 290可以代表佩戴VR顯示設(shè)備135的第一用戶。移動計(jì)算設(shè)備235的用戶可以使用縮放295功能在VR環(huán)境中放大和縮小Avatar 290。移動計(jì)算設(shè)備200的用戶同時可以通過在移動計(jì)算設(shè)備100的顯示器拖動、點(diǎn)擊、捏住或滑動來在VR環(huán)境235周圍移動，以在VR環(huán)境234周圍移動。

　　在特定實(shí)施例中，移動計(jì)算設(shè)備200的一個或多個攝像頭可以捕獲在真實(shí)世界環(huán)境150中佩戴VR顯示設(shè)備135的第一用戶。VR系統(tǒng)100可以指示移動計(jì)算設(shè)備200的攝像頭捕捉包括VR頭顯用戶的真實(shí)世界環(huán)境的一個或多個圖像。

　　移動計(jì)算設(shè)備200可以從VR系統(tǒng)100接收從一個或多個圖像識別的真實(shí)世界環(huán)境150中的一個或更多個錨點(diǎn)。錨點(diǎn)可以對應(yīng)于任何真實(shí)世界對象145或真實(shí)世界環(huán)境150的區(qū)別特征，例如門口、窗戶、家具等。

　　錨點(diǎn)可用于確定移動計(jì)算設(shè)備200相對于VR顯示設(shè)備135的姿態(tài)，并可用于通過相對于所識別的錨點(diǎn)定位移動計(jì)算設(shè)備100和VR顯示設(shè)備130，從而校準(zhǔn)移動計(jì)算設(shè)備300和/或VR顯示設(shè)備140的姿態(tài)。VR系統(tǒng)100可以自動執(zhí)行初始定位過程，以相對于真實(shí)世界環(huán)境和/或相對于彼此定位移動計(jì)算設(shè)備200和VR顯示設(shè)備135。

　　確定移動計(jì)算設(shè)備200的姿勢可以包括檢測移動計(jì)算設(shè)備100已經(jīng)移動。然后，可以基于一個或多個錨點(diǎn)來確定移動計(jì)算設(shè)備200相對于VR顯示設(shè)備135的更新姿勢。

　　VR系統(tǒng)可以響應(yīng)于檢測到移動計(jì)算設(shè)備200已經(jīng)移動，并實(shí)時生成VR環(huán)境235中第一用戶的更新MR渲染。例如，如果移動計(jì)算設(shè)備向左移動，MR渲染將相應(yīng)地顯示移動計(jì)算設(shè)備200已經(jīng)移動到VR頭顯用戶102的左側(cè)。因此，可以相對于彼此以及相對于真實(shí)世界環(huán)境150來確定移動計(jì)算設(shè)備100和VR顯示設(shè)備的姿勢。

　　錨點(diǎn)可用于追蹤移動計(jì)算設(shè)備200和VR顯示設(shè)備135的相對位置，從而連續(xù)或周期性地更新移動計(jì)算設(shè)備100和VR顯示裝置135的相應(yīng)姿勢。由VR系統(tǒng)100生成的真實(shí)世界環(huán)境150的特征圖可用于確定與特征圖內(nèi)的特征相對應(yīng)的一個或多個錨點(diǎn)。特征圖和錨點(diǎn)可以由VR顯示設(shè)備135的VR系統(tǒng)100制作并持續(xù)更新。

　　Meta表示，這一實(shí)施例的技術(shù)優(yōu)點(diǎn)是允許移動計(jì)算設(shè)備200的用戶將移動計(jì)算設(shè)備100移動到其他姿勢，而不需要移動計(jì)算設(shè)備200的額外設(shè)置和重新定位過程。換句話說，VR系統(tǒng)100只需要參考特征圖來重新定位移動計(jì)算設(shè)備100，而不是相對于VR顯示設(shè)備135重新定位。因此，這可以減少移動計(jì)算設(shè)備200所需的計(jì)算和處理能力。

　　移動計(jì)算設(shè)備200可以向VR顯示設(shè)備135的VR系統(tǒng)100發(fā)送移動計(jì)算設(shè)備100的姿態(tài)。

　　圖14示出了移動計(jì)算設(shè)備200在VR環(huán)境235中顯示用戶102的MR視圖的示例。VR頭顯用戶102可以在VR環(huán)境235中開玩VR游戲應(yīng)用程序集。移動計(jì)算設(shè)備100的用戶可以使用光標(biāo)205在VR環(huán)境235中查看用戶102，并探索VR環(huán)境235。移動計(jì)算設(shè)備200的用戶可以使用快照275功能來在VR環(huán)境235中拍攝用戶102的照片，使用錄制280功能來在虛擬現(xiàn)實(shí)環(huán)境235中錄制用戶102，或者使用gif 285功能來制作虛擬現(xiàn)實(shí)環(huán)境235中用戶102的gif動圖。

　　在特定實(shí)施例中，移動計(jì)算設(shè)備200可以從VR系統(tǒng)100接收VR環(huán)境235的VR渲染。VR渲染可以是從移動計(jì)算設(shè)備100相對于VR顯示設(shè)備135的角度進(jìn)行�？梢愿鶕�(jù)移動計(jì)算設(shè)備200相對于VR顯示設(shè)備135的姿勢來確定移動計(jì)算設(shè)備100的透視圖。

　　基于移動計(jì)算設(shè)備200相對于VR顯示設(shè)備135具有姿勢，移動計(jì)算設(shè)備100可以從移動計(jì)算設(shè)備的角度顯示VR環(huán)境235的VR渲染。移動計(jì)算設(shè)備200和VR顯示設(shè)備135可以是時間同步，以便移動計(jì)算設(shè)備200和VR顯示設(shè)備135可以無縫地查看相同的VR環(huán)境235。

　　移動計(jì)算設(shè)備200可以從VR系統(tǒng)接收第一用戶102已經(jīng)激活了VR系統(tǒng)100的特定VR應(yīng)用的指示。作為示例而非限制，VR頭顯第一用戶可以選擇VR游戲應(yīng)用。響應(yīng)于接收到第一用戶已經(jīng)激活特定VR應(yīng)用的指示，移動計(jì)算設(shè)備200可以呈現(xiàn)第一用戶已經(jīng)啟動特定VR應(yīng)用程序的通知。

　　然后，移動計(jì)算設(shè)備200的用戶可以選擇在VR游戲應(yīng)用的VR環(huán)境235中查看第一用戶的MR視圖的選項(xiàng)。

　　圖15、16和17分別示出了移動計(jì)算設(shè)備200從第一、第二和第三姿態(tài)在VR環(huán)境235中顯示第一用戶102的MR視圖的示例。

　　移動計(jì)算設(shè)備200顯示從一個或多個圖像分割并在VR環(huán)境235中呈現(xiàn)的第一用戶。移動計(jì)算設(shè)備100的用戶可以使用移動計(jì)算設(shè)備300來查看在真實(shí)世界環(huán)境150中佩戴VR顯示設(shè)備135的用戶。移動計(jì)算設(shè)備200顯示的VR環(huán)境235可以對應(yīng)于VR顯示設(shè)備135顯示的虛擬現(xiàn)實(shí)環(huán)境235，移動計(jì)算設(shè)備200的顯示器更新用戶102的位置以及移動計(jì)算設(shè)備100在VR環(huán)境235內(nèi)的姿勢。VR環(huán)境235中的第一用戶102的MR渲染實(shí)時自動更新，以相對于并根據(jù)MR計(jì)算設(shè)備200的更新姿勢在VR環(huán)境235上顯示第一用戶102。

　　在一個實(shí)施例中，可以從一個或多個圖像分割第一用戶，以覆蓋或疊加到移動計(jì)算設(shè)備200顯示的VR環(huán)境235�？梢允褂梅指钏惴ɑ驁D像處理算法來識別和確定真實(shí)世界環(huán)境150中的用戶102的輪廓或身體，從而從一個或多個圖像中僅分割第一用戶。

　　換句話說，VR系統(tǒng)100可以獨(dú)占地分割第一用戶，并且從一個或多個圖像中忽略其他用戶。VR系統(tǒng)100可以分割佩戴VR顯示設(shè)備135的用戶。例如，VR系統(tǒng)200使用深度估計(jì)來創(chuàng)建VR顯示設(shè)備135周圍的邊界體積，以確定要分割哪個用戶。

　　Meta指出，分割第一用戶解決了允許移動計(jì)算設(shè)備200的動態(tài)移動，以及將第一用戶的圖像保持在移動計(jì)算設(shè)備圖像幀內(nèi)的VR環(huán)境235中的技術(shù)挑戰(zhàn)。移動計(jì)算設(shè)備200的用戶可以在VR環(huán)境235中保持第一用戶的MR渲染，而不需要固定在第一用戶上的靜態(tài)camera。

　　第一用戶的分割可以被存儲為分割數(shù)據(jù)。分割數(shù)據(jù)可以在VR系統(tǒng)100處保留或維護(hù)。分割數(shù)據(jù)的保留可以允許MR或AR效果應(yīng)用于第一用戶的分割。例如，如果第一用戶處于VR運(yùn)動游戲環(huán)境中，MR或AR效果可以應(yīng)用于分割的第一用戶所穿的衣服，使得第一用戶看起來穿著運(yùn)動隊(duì)球衣。

　　名為“Dynamic mixed reality content in virtual reality”的Meta專利最初在2021年6月提交，并在日前由美國專利商標(biāo)局公布。