微軟專利介紹通過多個聲音系統(tǒng)提供逼真空間音頻MR體驗

2022年01月13日 15:05:39 來源：映維網(wǎng)

　　空間音頻是沉浸式體驗的關鍵拼圖之一。盡管現(xiàn)在的耳機設備在實現(xiàn)空間音效方面已經(jīng)取得了長足的進步，但離真正的空間音效感依然存在距離。在微軟看來，要實現(xiàn)最為契合的音頻體驗，一種解決方案是在物理空間設置多個揚聲器，然后音頻系統(tǒng)中揚聲器的輸出可根據(jù)用戶的位置或頭部位置進行調(diào)整，從而提供匹配的對象聲音感知。

　　在名為“Mixed reality complementary systems”的專利申請中，微軟描述了一種相關的空間音頻系統(tǒng)。具體來說，在各種實施例中，設備可以通過多個聲音系統(tǒng)來提供逼真的音頻MR體驗。

　　在一個示例中，MR空間音頻系統(tǒng)具有分布在MR空間內(nèi)的一個或多個揚聲器。MR聲音系統(tǒng)直接向佩戴MR頭顯的用戶提供聲音。代表MR體驗中響應事件的聲音的音頻信號由每個聲音系統(tǒng)播放。在各種實施例中，音頻文件可以通過一個或多個MR設備聲音系統(tǒng)和一個或多個MR空間聲音系統(tǒng)的一個或多個揚聲器進行混合和播放。

　　圖1是數(shù)字表示的示例MR空間100。MR空間100可以是要發(fā)生MR體驗的房間、結(jié)構(gòu)或其他區(qū)域�？梢酝ㄟ^最初使用一個或多個MR設備110、115、120掃描MR空間100來創(chuàng)建MR空間的數(shù)字表示。如果先前已掃描過空間，則可能已存儲空間數(shù)據(jù)并簡單地檢索空間數(shù)據(jù)，以方便MR體驗。

　　空間的數(shù)字表示可以以許多不同的方式生成，并且多個空間的數(shù)字表示可以用于各種MR體驗�？梢允褂弥T如微軟HoloLens這樣的設備掃描空間。在進一步的實施例中，可以使用多個設備來執(zhí)行掃描并協(xié)作以貢獻幾何體。在進一步的實施例中，可以使用不同的設備，并利用LIDAR或其他測距機制的其他設備。掃描包括幾何體掃描，并且可以由能夠捕獲到空間內(nèi)的對象和表面的距離并生成包含空間數(shù)據(jù)的空間的三角形網(wǎng)格表示的任何設備來執(zhí)行。

　　MR空間聲音系統(tǒng)130的第一聲音系統(tǒng)包括布置在MR空間100內(nèi)或周圍的多個揚聲器132、134、136、138和140。在各種示例中，揚聲器可以是有線或無線揚聲器。計算系統(tǒng)145用于從MR設備110、115、120接收數(shù)據(jù)，并為MR體驗提供處理能力。

　　在MR體驗期間，聲音可以通過房間(MR空間)揚聲器或每個單獨的MR設備聲音系統(tǒng)播放。一個實施例中的聲音包括存儲在諸如MR空間聲音系統(tǒng)130的一個或多個聲音系統(tǒng)上以及MR設備110、115、120聲音系統(tǒng)中的每一個的音頻數(shù)據(jù)文件。每個MR設備聲音系統(tǒng)和MR空間聲音系統(tǒng)可以在共享MR體驗中聯(lián)網(wǎng)在一起，并且具有對MR空間和體驗的共享理解，例如MR體驗中發(fā)生的事件以及其他數(shù)據(jù)，例如用戶在MR空間中的位置、用戶偏好、用戶狀態(tài)、用戶能力，易于同步以及與MR體驗相關的其他數(shù)據(jù)。MR空間音響系統(tǒng)和MR設備音響系統(tǒng)根據(jù)共享的理解混合音頻數(shù)據(jù)文件中的聲音。

　　音頻數(shù)據(jù)文件可在響應事件需要之前進行分發(fā)和預緩存。在進一步的實施例中，可以在一個或多個中央系統(tǒng)中執(zhí)行聲音的混合，并將聲音流式傳輸?shù)娇臻g揚聲器和MR設備揚聲器。在不同的示例中，空間揚聲器可以是有線或無線揚聲器。

　　MR空間聲音系統(tǒng)130可識別每個揚聲器的聲音，以提供更真實的聲音，響應MR空間中虛擬發(fā)聲物體的位置。當表示為MR設備110的用戶與全息圖映射155交互時，音頻數(shù)據(jù)文件中的映射頁面聲音可以定向到揚聲器138。揚聲器138嵌入或以其他方式由桌子支撐，并位于全息圖155附近。因此，可將全息圖聲音感知為由全息圖155發(fā)射。

　　MR設備110同時可以具有聲音文件，或者可以選擇接收聲音以在音頻信號中播放。來自桌面全息圖的聲音通過桌面揚聲器播放�？梢栽贛R設備110揚聲器播放環(huán)境或聲音重音音頻數(shù)據(jù)文件(例如用戶耳朵發(fā)出的子彈呼嘯聲)。

　　在一個實施例中，一個音頻系統(tǒng)關注來自全息圖的音頻，而另一個音頻系統(tǒng)關注環(huán)境/大氣聲音/音樂。這種分割通道方法同時可以應用于任何聲源。例如，基于用戶的MR設備提供的用戶的位置，來自虛擬角色的聲音可以完全從MR設備110聲音系統(tǒng)音頻文件發(fā)射，或者可以完全從基于MR空間聲音系統(tǒng)130音頻文件的桌面發(fā)射。

　　在一個示例中，MR空間音響系統(tǒng)130是適合播放較深聲音的較大音響系統(tǒng)，而較小的音響系統(tǒng)(MR設備音響系統(tǒng))播放中高頻聲音。這使聲音更容易同步體驗，因為高頻聲音與低頻聲音的同步比高頻聲音與其他高頻聲音的同步更容易，因為高頻聲音的波長較短。基本概念類似于將桌上揚聲器用作非本地公共低音炮。

　　其他示例可能包括通過MR空間音響系統(tǒng)播放叢林或海洋聲音。如果虛擬鳥或全息鳥在MR空間飛行，則MR設備音響系統(tǒng)揚聲器可以播放更高頻率的叢林聲，或者可以通過MR空間音響系統(tǒng)播放具有方向效果的叢林聲。兩個音響系統(tǒng)之間的聲音分割可以是基于體驗驅(qū)動的，而這在設計MR音頻體驗時提供靈活性。

　　MR空間音響系統(tǒng)130的揚聲器的聲音可以更容易地同步，因為揚聲器可以直接由MR空間音響系統(tǒng)130驅(qū)動。在進一步的示例中，MR空間聲音系統(tǒng)130可以實現(xiàn)為計算系統(tǒng)145的一部分。在一個示例中，如果MR空間100中有多個用戶，則可通過MR空間聲音系統(tǒng)130播放爆炸聲及后續(xù)音效，例如通過MR設備聲音系統(tǒng)或設備的聲音系統(tǒng)播放玻璃破碎和叮當聲。

　　在一個示例中，事件可能具有包括定時信息和音頻文件標識符的相關音頻信號�；蛘�，MR設備的一個音響系統(tǒng)可以提供音頻信號。每個MR設備音響系統(tǒng)使用這些音頻信號來確定播放哪個音頻文件以及何時播放。音頻文件可以預先存儲在每個MR設備和MR空間聲音系統(tǒng)130上，或者在進一步的示例中甚至可以實時下載。用戶語音同時可以通過MR設備聲音系統(tǒng)在多個用戶之間提供。

　　圖2是示例MR設備200的框圖。MR設備200設計為供用戶佩戴，并且經(jīng)由顯示器210提供混合現(xiàn)實視圖。顯示器210可以是將全息或虛擬圖像投影到MR空間的透明顯示器。MR設備200用于記錄不同類型的數(shù)據(jù)，例如慣性運動單元(IMU)數(shù)據(jù)215。MR設備200同時包括各種數(shù)據(jù)記錄或文件，例如空間數(shù)據(jù)220和聲音文件225。IMU數(shù)據(jù)可由商用MR頭顯中的慣性傳感器提供。

　　MR設備110同時包括處理器230和通信模塊235，用于與計算系統(tǒng)145通信和接收代表MR體驗的共享理解信息，并向其他設備提供數(shù)據(jù)，例如IMU數(shù)據(jù)215提供的位置信息。MR設備110還可以由用戶穿戴者配置為基于用戶偏好過濾音頻信號。處理器230可以使用所述偏好以及共享的理解信息來執(zhí)行MR設備110聲音系統(tǒng)音頻混合功能。

　　MR設備110和計算系統(tǒng)145之間的交互可用于抑制或解鎖由MR設備聲音系統(tǒng)提供的聲音。例如在諸如尋寶之類的游戲中，每個用戶可能有不同的游戲級別。在某種程度上，額外的聲音可以“解鎖”，換句話說，比如對于10級別，鸚鵡的聲音可以解鎖，并作為進入下一關卡的線索。通過每個用戶的MR設備執(zhí)行音頻文件的選擇和混合，每個用戶可以自己前進，但大家都可以通過空間聲音系統(tǒng)130的揚聲器經(jīng)由第一聲道音頻提供的背景叢林聲音。

　　如上所述，每個音響系統(tǒng)選擇音頻文件和從音頻文件混合聲音的能力提供了選擇在MR體驗期間如何在MR空間播放和感知聲音的能力。

　　在一個示例算法中，在MR空間音響系統(tǒng)揚聲器上播放低于選定頻率的聲音。高于所選頻率的聲音引導至用戶的MR設備揚聲器。例如，算法可以根據(jù)用戶位置和與MR空間內(nèi)全息圖的交互而變化。所選頻率的選擇可以是完全任意，甚至可以基于每個聲音系統(tǒng)的揚聲器的相對保真度。換言之，不同頻率的聲音引導到聲音系統(tǒng)，以便用戶主觀上會聽到更好的聲音。關于所選頻率范圍放大的個人用戶偏好同時可用于混合聲音，以便聽力受損的用戶能夠更好地聽到相關聲音。

　　在另一個示例中，來自虛擬源的聲音可以通過MR設備聲音系統(tǒng)和MR空間聲音系統(tǒng)進行不同的混合。在叢林MR體驗空間中，可以根據(jù)用戶MR設備的位置和全息圖獵豹的位置播放獵豹咆哮。如果在空間中彼此遠離，則只能通過MR空間音響系統(tǒng)播放聲音。如果彼此靠近，低頻聲音可以由附近的MR空間聲音系統(tǒng)130揚聲器播放，而高頻聲音由用戶的MR設備聲音系統(tǒng)播放。較高頻率的聲音可能與較低頻率的聲音同步，給人以獵豹靠近的感覺。

　　MR空間聲音系統(tǒng)130音頻或空間音頻可以在多用戶MR體驗中共享。空間音頻的混音可能受用戶位置的影響。例如，假設空間中的一個揚聲器有第一個用戶和第二個用戶。第一個用戶在虛擬獵豹旁邊。第二個用戶在5米之外。MR空間音響系統(tǒng)可以以適合第二用戶聽到的音量播放獵豹聲�？拷鼡P聲器的第一位用戶的MR音頻系統(tǒng)會混合音頻信號以增加獵豹的聲音，以補償房間揚聲器的音量降低。當?shù)诙䝼€用戶移向獵豹時，共享空間揚聲器混音的音量會增加。第一和第二用戶的MR陰癖系統(tǒng)調(diào)整其私人混音，以適應房間揚聲器的變化。

　　每個設備的混音也可以基于空間相關音頻執(zhí)行。例如，想象一個占據(jù)一半空間的虛擬龍卷風。如果第一個用戶在龍卷風中，但第二個用戶沒有，揚聲器將需要播放適合第二個用戶的音頻，而第一個用戶的MR設備通過混合音頻進行補償，使第一個用戶聽到他們在虛擬龍卷風中。但如果兩個用戶都在龍卷風中，MR空間音頻系統(tǒng)可以為揚聲器混音，指示其在龍卷風中，并且第一個用戶的設備不再需要補償。

　　圖3是示出在不同聲音系統(tǒng)之間在混合現(xiàn)實體驗中分割聲音的計算機實現(xiàn)方法300的流程圖。在操作310，接收在混合現(xiàn)實空間中的混合現(xiàn)實體驗期間發(fā)生的事件的指示。操作320識別與預期用于混合現(xiàn)實空間聲音系統(tǒng)的事件相對應的第一音頻數(shù)據(jù)。操作330識別與預期用于第一用戶的第一混合現(xiàn)實裝置聲音系統(tǒng)的事件相對應的第二音頻數(shù)據(jù)。在一個實施例中，第一音頻和第二音頻數(shù)據(jù)可以包括一個或多個數(shù)字音頻數(shù)據(jù)文件。在操作340處，將第一音頻和第二音頻數(shù)據(jù)提供給各個混合現(xiàn)實空間聲音系統(tǒng)和第一混合現(xiàn)實設備聲音系統(tǒng)中的揚聲器。

　　在一個實施例中，每個聲音系統(tǒng)可以聯(lián)網(wǎng)在一起，并且對關于混合現(xiàn)實空間體驗的信息(包括正在發(fā)生的事件)具有共享的理解。聲音系統(tǒng)使用對信息的共享理解來混合來自數(shù)字音頻數(shù)據(jù)文件的聲音，從而為一個或多個用戶提供更好的混合現(xiàn)實音頻體驗。

　　混合現(xiàn)實空間聲音系統(tǒng)基于共享的理解信息混合來自一個或多個第一音頻數(shù)據(jù)數(shù)字音頻數(shù)據(jù)文件的聲音，這包括一個或多個事件、混合現(xiàn)實空間中的用戶位置、最低用戶音頻電平、共享用戶設置、一個或多個揚聲器的特性，并且易于與第一臺混合現(xiàn)實設備同步聲音。在一個實施例中，可以存在多個混合現(xiàn)實空間聲音系統(tǒng)，每個混合現(xiàn)實空間聲音系統(tǒng)用于一個或多個混合現(xiàn)實空間揚聲器。

　　房間中的用戶位置可能包括與全息圖相關的距離/角度/方向信息。用戶位置還可以指示用戶在具有音頻的特定區(qū)域內(nèi)，例如用戶是否在虛擬龍卷風內(nèi)。

　　最低用戶音頻電平與房間揚聲器的音量有關。如果用戶聽不到特定的聲音(用戶a在體驗中沒有解鎖小鳥，但其他用戶有)，特定聲音(小鳥歌曲)將不會通過房間音頻播放。如果一個用戶離聲源/聲音觸發(fā)區(qū)域太遠，則房間揚聲器的聲音將僅在距離最遠的人應該聽到的音量下播放。

　　共享用戶設置和能力\每個音響系統(tǒng)的揚聲器特性同樣可用于混音。

　　在另一個實施例中，與MR設備聲音系統(tǒng)音頻同步的容易程度可以基于由于頻率、聲音特征與短流行音樂或需要最小同步的聲音而導致的匹配的容易程度。

　　第一混合現(xiàn)實設備聲音系統(tǒng)基于共享的理解信息混合來自一個或多個第一音頻數(shù)據(jù)數(shù)字音頻數(shù)據(jù)文件的聲音，混合來自一個或多個第二音頻數(shù)據(jù)數(shù)字音頻數(shù)據(jù)文件的聲音，第一用戶偏好、用戶狀態(tài)、混合現(xiàn)實設備揚聲器的特性以及與第一混合現(xiàn)實設備的聲音同步的容易程度。其他用戶的其他混合現(xiàn)實設備也這樣做，以便每個用戶都能獲得增強的個性化音頻體驗。

　　用戶在房間中的位置可能包括與全息圖相關的距離/角度/方向，或者如果用戶在音頻的特定區(qū)域內(nèi)，例如是否在虛擬龍卷風內(nèi)。每個MR設備聲音系統(tǒng)可以使用用戶偏好和用戶狀態(tài)來混合適合每個用戶級別的聲音。揚聲器的功能\特性以及與房間音頻的易同步性同時可以類似于MR空間音響系統(tǒng)使用的方式使用。

　　方法300可包括識別與第二混合現(xiàn)實設備聲音系統(tǒng)的事件對應的第三音頻數(shù)據(jù)的操作350。在操作360，為混合現(xiàn)實空間中的第二用戶向第二混合現(xiàn)實設備聲音系統(tǒng)的揚聲器提供第三音頻數(shù)據(jù)信號。

　　圖4是示出通常在400處對應于爆炸事件的示例數(shù)字音頻數(shù)據(jù)文件的框圖。多個數(shù)字音頻數(shù)據(jù)文件可按事件類型編制索引。例如，可能存在多種不同類型的爆炸，每種爆炸具有不同的數(shù)字音頻數(shù)據(jù)文件。圖4顯示了三種類型的爆炸：A、B和C。另外可以存在多個不同類型的事件，每個事件與一個或多個數(shù)字音頻數(shù)據(jù)文件關聯(lián)。

　　另一個示例可能包括聲音系統(tǒng)在特定時間播放的槍聲音頻文件。MR設備音響系統(tǒng)的音頻文件可包括呼嘯聲MP3文件，用于在MR設備音響系統(tǒng)揚聲器中創(chuàng)建與穿過佩戴者的一顆或多顆子彈相對應的聲音，同時MR空間音響系統(tǒng)在子彈穿過聲音之前播放槍聲。

　　在各種實施例中，所述文件中的每一個可以具有眾多不同的選項。所述選項可以包括不同類型的爆炸，不同類型槍發(fā)射的不同數(shù)量的子彈，以及子彈在撞擊全息圖對象時發(fā)出的不同聲音。