蘋果專利為ARkit提出MR遠程通信技術(shù) 讓視頻通話更沉浸

　　在名為“Environment for remote communication”的專利申請中，蘋果描述了一種用于遠程通信的技術(shù)。具體來說，這家公司介紹的發(fā)明可以通過用戶通過智能手機或平板電腦來呈現(xiàn)混合現(xiàn)實影像，從而實現(xiàn)沉浸感高于普通視頻對話的逼真遠程通信。

　　在通信會話期間，設備可以在擴展現(xiàn)實環(huán)境中呈現(xiàn)遠程參與者的虛擬表示，例如虛擬化身。擴展現(xiàn)實環(huán)境可以呈現(xiàn)給一個或多個本地參與者。在一個實施例中，至少部分地使用錨定裝置的位置來確定虛擬表示的位置，例如，虛擬表示可以位于錨定裝置之上。以這種的方式，本地參與者可以通過將錨定裝置放置在任意期望位置。在一個實施例中，當錨定裝置移動時，虛擬表示可以相應地移動，例如改變位置或旋轉(zhuǎn)。

　　在一個實施例中，一種方法包括：第一電子設備的顯示設備呈現(xiàn)擴展現(xiàn)實環(huán)境，第一電子設備同時接收呈現(xiàn)通信會話的遠程參與者的虛擬表示的請求;響應于接收到呈現(xiàn)遠程參與者的虛擬表示的請求，將第二電子設備定位在物理環(huán)境中的第一位置。當?shù)诙�電子設備位于物理環(huán)境中的第一位置時，通過顯示設備呈現(xiàn)遠程參與者的虛擬表示，使得虛擬表示看似位于物理環(huán)境中的第二位置。其中，第二位置不同于第一位置，并且使用第一位置的第一坐標確定第二位置的第一坐標。

　　舉個例子，兩名本地參與者可以各自手持一臺支持混合現(xiàn)實功能的智能手機，并把另一臺支持全息投影且作為錨定裝置的第三臺設備擺放在桌面。這樣，第三臺設備可以遠程參與者的虛擬化身，而兩名本地參與者則可以通過各自的智能手機進行查看。如果你看過《星球大戰(zhàn)》，你應該不會對這種全息通信感到陌生。

　　另外，在一個實施例中，虛擬表示的位置可以至少部分地使用本地參與者的設備位置來確定。例如，虛擬表示可以顯示在與向本地用戶設備相同的高度，以便在本地眼睛水平向來呈現(xiàn)虛擬表示。如果有多名本地參與者，虛擬表示可以顯示在不同的高度。例如，虛擬表示可以顯示在本地參與者使用的所有設備的平均高度，或者顯示在最低設備的高度，這樣用戶就不必抬頭查看虛擬表示。作為另一個示例，不同的設備基于各自設備的高度，并以不同的高度呈現(xiàn)虛擬表示，從而為每名參與者定制擴展現(xiàn)實環(huán)境。

　　參考圖2A-2D，其描述了用于為與遠程參與者的通信會話提供XR環(huán)境的示例性技術(shù)。

　　圖2A描繪了包括設備200A、設備200B、設備210和桌面220的物理環(huán)境。如圖2A所示，設備200A和設備200B是由各自用戶持有的平板電腦。在一個實施例中，設備200A和設備200B是智能手機或頭戴式設備。在另一個實施例中，設備200A和設備200B可以是不同類型的設備，例如，設備200A可以是平板電腦，設備200B可以是頭戴式設備。

　　設備200A和設備200B包括呈現(xiàn)XR環(huán)境的各自顯示器202A和202B。設備200A和設備200B可以呈現(xiàn)公共XR環(huán)境，或至彼此不同的各自透視圖。對于后一種情況，可以是共享XR環(huán)境的一定公共特征，但視圖為自定義。

　　在一個實施例中，設備210與設備200A和/或設備200B通信，并稱為“錨定裝置”。桌面220為矩形，其表面220A建立任意笛卡爾參考框架。錨定裝置210具有由坐標x和y定義的水平(x-y)位置，且高度(z坐標)為零(錨定裝置210平放在桌面220之上);設備200A具有高度H1;設備200B具有高度H2。

　　圖2B中的示例性通信會話包括但不限于電話呼叫、會議呼叫和視頻呼叫。在一個實施例中，錨定裝置210、設備200A或設備200B發(fā)起設備200A、設備200B和遠程參與者之間的通信會話。在一個實施例中，設備200A、設備200B和遠程參與者可以各自加入或拒絕加入通信會話。

　　當通信會話啟動時，設備200A和/或設備200B接收到呈現(xiàn)通信會話的遠程參與者的虛擬表示的請求。響應于接收到呈現(xiàn)遠程參與者的虛擬表示的請求，設備200A和/或設備200B定位錨裝置210(其位于物理環(huán)境中的位置(X，Y，0))并呈現(xiàn)遠程參與者的虛擬表示206。

　　可以使用錨定裝置210的位置來確定虛擬表示206的位置。例如，可以使用錨定裝置210的位置的至少一個坐標來確定虛擬表示206的位置的至少一個坐標。在圖2B所示的實施例中，使用錨定裝置210的水平位置來確定虛擬表示206的水平位置，并使得虛擬表示206看似位于錨定裝置210的上方。例如，虛擬表示206具有與錨定裝置210相同的x和y坐標，但高度H3不同。

　　在圖2B所示的實施例中，虛擬表示206是非描述對象，例如球體)。遠程參與者的虛擬表示可以是其他形狀(例如三角形、星形、立方體)，并且可以具有各種視覺特征(例如不同的顏色、發(fā)光效果、半透明性等)。在一個實施例中，虛擬表示206包括與遠程參與者相關(guān)聯(lián)的圖像(例如二維或三維圖像)。

　　在圖2B所示的實施例中，設備200A和設備200B可以同時提供通信會話的音頻輸出。在一些實施例中，設備200A和/或設備200B可以提供3D或空間音頻，使得聲音仿佛是來自于虛擬表示一樣。在一個實施例中，當從遠程參與者或遠程設備接收音頻數(shù)據(jù)時，虛擬表示206提供視覺指示。例如，虛擬表示206可以改變顏色和/或大小，又或者是通過動畫來指示遠程參與者正在說話。

　　在通信會話期間，錨定裝置210可以進一步顯示具有關(guān)于通信會話信息的用戶界面，例如通信會話的持續(xù)時間、遠程參與者的名稱、來自遠程參與者的設備的視頻等等。

　　現(xiàn)在轉(zhuǎn)向圖4D，基于從通信會話的遠程參與者接收的數(shù)據(jù)，可以定位虛擬表示206。從遠程參與者接收的數(shù)據(jù)可以表示預定類型的內(nèi)容(例如由遠程參與者的設備攝像頭捕獲的圖像)或遠程參與者的設備的預定配置。

　　圖4D的左側(cè)是遠程參與者的遠程XR環(huán)境。遠程參與者的XR環(huán)境包括遠程參與者周圍的物理環(huán)境，包括遠程參與者正在使用的設備410，以及圖中所示的本地參與者的虛擬表示406。在一個實施例中，虛擬表示406由遠程參與者的另一設備呈現(xiàn)。如圖4D的左側(cè)所示，遠程參與者舉起設備410并使用攝像頭來捕獲遠程參與者周圍物理環(huán)境的圖像。虛擬表示406位于遠程參與者的肩膀上方。

　　圖4D的右側(cè)示是本地參與者的XR環(huán)境。在圖4D右側(cè)所示的實施例中，錨定裝置210平放在桌面220之上，并且在錨定裝置210上方呈現(xiàn)。在呈現(xiàn)虛擬表示208時，遠程參與者的虛擬表示206呈現(xiàn)在本地參與者肩膀上方的位置，仿佛遠程參與者正站在本地參與者的旁邊，并看著虛擬表示208。這樣，本地參與者和遠程參與者的XR環(huán)境模擬參與者彼此并排放置的體驗，共享遠程參與者的物理環(huán)境的類似視圖。

　　名為“Environment for remote communication”的蘋果專利申請最初在2021年8月提交，并在日前由美國專利商標局公布。