微軟專利介紹通過(guò)多個(gè)聲音系統(tǒng)提供逼真空間音頻MR體驗(yàn)

　　空間音頻是沉浸式體驗(yàn)的關(guān)鍵拼圖之一。盡管現(xiàn)在的耳機(jī)設(shè)備在實(shí)現(xiàn)空間音效方面已經(jīng)取得了長(zhǎng)足的進(jìn)步，但離真正的空間音效感依然存在距離。在微軟看來(lái)，要實(shí)現(xiàn)最為契合的音頻體驗(yàn)，一種解決方案是在物理空間設(shè)置多個(gè)揚(yáng)聲器，然后音頻系統(tǒng)中揚(yáng)聲器的輸出可根據(jù)用戶的位置或頭部位置進(jìn)行調(diào)整，從而提供匹配的對(duì)象聲音感知。

　　在名為“Mixed reality complementary systems”的專利申請(qǐng)中，微軟描述了一種相關(guān)的空間音頻系統(tǒng)。具體來(lái)說(shuō)，在各種實(shí)施例中，設(shè)備可以通過(guò)多個(gè)聲音系統(tǒng)來(lái)提供逼真的音頻MR體驗(yàn)。

　　在一個(gè)示例中，MR空間音頻系統(tǒng)具有分布在MR空間內(nèi)的一個(gè)或多個(gè)揚(yáng)聲器。MR聲音系統(tǒng)直接向佩戴MR頭顯的用戶提供聲音。代表MR體驗(yàn)中響應(yīng)事件的聲音的音頻信號(hào)由每個(gè)聲音系統(tǒng)播放。在各種實(shí)施例中，音頻文件可以通過(guò)一個(gè)或多個(gè)MR設(shè)備聲音系統(tǒng)和一個(gè)或多個(gè)MR空間聲音系統(tǒng)的一個(gè)或多個(gè)揚(yáng)聲器進(jìn)行混合和播放。

　　圖1是數(shù)字表示的示例MR空間100。MR空間100可以是要發(fā)生MR體驗(yàn)的房間、結(jié)構(gòu)或其他區(qū)域�？梢酝ㄟ^(guò)最初使用一個(gè)或多個(gè)MR設(shè)備110、115、120掃描MR空間100來(lái)創(chuàng)建MR空間的數(shù)字表示。如果先前已掃描過(guò)空間，則可能已存儲(chǔ)空間數(shù)據(jù)并簡(jiǎn)單地檢索空間數(shù)據(jù)，以方便MR體驗(yàn)。

　　空間的數(shù)字表示可以以許多不同的方式生成，并且多個(gè)空間的數(shù)字表示可以用于各種MR體驗(yàn)。可以使用諸如微軟HoloLens這樣的設(shè)備掃描空間。在進(jìn)一步的實(shí)施例中，可以使用多個(gè)設(shè)備來(lái)執(zhí)行掃描并協(xié)作以貢獻(xiàn)幾何體。在進(jìn)一步的實(shí)施例中，可以使用不同的設(shè)備，并利用LIDAR或其他測(cè)距機(jī)制的其他設(shè)備。掃描包括幾何體掃描，并且可以由能夠捕獲到空間內(nèi)的對(duì)象和表面的距離并生成包含空間數(shù)據(jù)的空間的三角形網(wǎng)格表示的任何設(shè)備來(lái)執(zhí)行。

　　MR空間聲音系統(tǒng)130的第一聲音系統(tǒng)包括布置在MR空間100內(nèi)或周?chē)�的多個(gè)揚(yáng)聲器132、134、136、138和140。在各種示例中，揚(yáng)聲器可以是有線或無(wú)線揚(yáng)聲器。計(jì)算系統(tǒng)145用于從MR設(shè)備110、115、120接收數(shù)據(jù)，并為MR體驗(yàn)提供處理能力。

　　在MR體驗(yàn)期間，聲音可以通過(guò)房間(MR空間)揚(yáng)聲器或每個(gè)單獨(dú)的MR設(shè)備聲音系統(tǒng)播放。一個(gè)實(shí)施例中的聲音包括存儲(chǔ)在諸如MR空間聲音系統(tǒng)130的一個(gè)或多個(gè)聲音系統(tǒng)上以及MR設(shè)備110、115、120聲音系統(tǒng)中的每一個(gè)的音頻數(shù)據(jù)文件。每個(gè)MR設(shè)備聲音系統(tǒng)和MR空間聲音系統(tǒng)可以在共享MR體驗(yàn)中聯(lián)網(wǎng)在一起，并且具有對(duì)MR空間和體驗(yàn)的共享理解，例如MR體驗(yàn)中發(fā)生的事件以及其他數(shù)據(jù)，例如用戶在MR空間中的位置、用戶偏好、用戶狀態(tài)、用戶能力，易于同步以及與MR體驗(yàn)相關(guān)的其他數(shù)據(jù)。MR空間音響系統(tǒng)和MR設(shè)備音響系統(tǒng)根據(jù)共享的理解混合音頻數(shù)據(jù)文件中的聲音。

　　音頻數(shù)據(jù)文件可在響應(yīng)事件需要之前進(jìn)行分發(fā)和預(yù)緩存。在進(jìn)一步的實(shí)施例中，可以在一個(gè)或多個(gè)中央系統(tǒng)中執(zhí)行聲音的混合，并將聲音流式傳輸?shù)娇臻g揚(yáng)聲器和MR設(shè)備揚(yáng)聲器。在不同的示例中，空間揚(yáng)聲器可以是有線或無(wú)線揚(yáng)聲器。

　　MR空間聲音系統(tǒng)130可識(shí)別每個(gè)揚(yáng)聲器的聲音，以提供更真實(shí)的聲音，響應(yīng)MR空間中虛擬發(fā)聲物體的位置。當(dāng)表示為MR設(shè)備110的用戶與全息圖映射155交互時(shí)，音頻數(shù)據(jù)文件中的映射頁(yè)面聲音可以定向到揚(yáng)聲器138。揚(yáng)聲器138嵌入或以其他方式由桌子支撐，并位于全息圖155附近。因此，可將全息圖聲音感知為由全息圖155發(fā)射。

　　MR設(shè)備110同時(shí)可以具有聲音文件，或者可以選擇接收聲音以在音頻信號(hào)中播放。來(lái)自桌面全息圖的聲音通過(guò)桌面揚(yáng)聲器播放�？梢栽贛R設(shè)備110揚(yáng)聲器播放環(huán)境或聲音重音音頻數(shù)據(jù)文件(例如用戶耳朵發(fā)出的子彈呼嘯聲)。

　　在一個(gè)實(shí)施例中，一個(gè)音頻系統(tǒng)關(guān)注來(lái)自全息圖的音頻，而另一個(gè)音頻系統(tǒng)關(guān)注環(huán)境/大氣聲音/音樂(lè)。這種分割通道方法同時(shí)可以應(yīng)用于任何聲源。例如，基于用戶的MR設(shè)備提供的用戶的位置，來(lái)自虛擬角色的聲音可以完全從MR設(shè)備110聲音系統(tǒng)音頻文件發(fā)射，或者可以完全從基于MR空間聲音系統(tǒng)130音頻文件的桌面發(fā)射。

　　在一個(gè)示例中，MR空間音響系統(tǒng)130是適合播放較深聲音的較大音響系統(tǒng)，而較小的音響系統(tǒng)(MR設(shè)備音響系統(tǒng))播放中高頻聲音。這使聲音更容易同步體驗(yàn)，因?yàn)楦哳l聲音與低頻聲音的同步比高頻聲音與其他高頻聲音的同步更容易，因?yàn)楦哳l聲音的波長(zhǎng)較短�；�本概念類似于將桌上揚(yáng)聲器用作非本地公共低音炮。

　　其他示例可能包括通過(guò)MR空間音響系統(tǒng)播放叢林或海洋聲音。如果虛擬鳥(niǎo)或全息鳥(niǎo)在MR空間飛行，則MR設(shè)備音響系統(tǒng)揚(yáng)聲器可以播放更高頻率的叢林聲，或者可以通過(guò)MR空間音響系統(tǒng)播放具有方向效果的叢林聲。兩個(gè)音響系統(tǒng)之間的聲音分割可以是基于體驗(yàn)驅(qū)動(dòng)的，而這在設(shè)計(jì)MR音頻體驗(yàn)時(shí)提供靈活性。

　　MR空間音響系統(tǒng)130的揚(yáng)聲器的聲音可以更容易地同步，因?yàn)閾P(yáng)聲器可以直接由MR空間音響系統(tǒng)130驅(qū)動(dòng)。在進(jìn)一步的示例中，MR空間聲音系統(tǒng)130可以實(shí)現(xiàn)為計(jì)算系統(tǒng)145的一部分。在一個(gè)示例中，如果MR空間100中有多個(gè)用戶，則可通過(guò)MR空間聲音系統(tǒng)130播放爆炸聲及后續(xù)音效，例如通過(guò)MR設(shè)備聲音系統(tǒng)或設(shè)備的聲音系統(tǒng)播放玻璃破碎和叮當(dāng)聲。

　　在一個(gè)示例中，事件可能具有包括定時(shí)信息和音頻文件標(biāo)識(shí)符的相關(guān)音頻信號(hào)�；蛘撸琈R設(shè)備的一個(gè)音響系統(tǒng)可以提供音頻信號(hào)。每個(gè)MR設(shè)備音響系統(tǒng)使用這些音頻信號(hào)來(lái)確定播放哪個(gè)音頻文件以及何時(shí)播放。音頻文件可以預(yù)先存儲(chǔ)在每個(gè)MR設(shè)備和MR空間聲音系統(tǒng)130上，或者在進(jìn)一步的示例中甚至可以實(shí)時(shí)下載。用戶語(yǔ)音同時(shí)可以通過(guò)MR設(shè)備聲音系統(tǒng)在多個(gè)用戶之間提供。

　　圖2是示例MR設(shè)備200的框圖。MR設(shè)備200設(shè)計(jì)為供用戶佩戴，并且經(jīng)由顯示器210提供混合現(xiàn)實(shí)視圖。顯示器210可以是將全息或虛擬圖像投影到MR空間的透明顯示器。MR設(shè)備200用于記錄不同類型的數(shù)據(jù)，例如慣性運(yùn)動(dòng)單元(IMU)數(shù)據(jù)215。MR設(shè)備200同時(shí)包括各種數(shù)據(jù)記錄或文件，例如空間數(shù)據(jù)220和聲音文件225。IMU數(shù)據(jù)可由商用MR頭顯中的慣性傳感器提供。

　　MR設(shè)備110同時(shí)包括處理器230和通信模塊235，用于與計(jì)算系統(tǒng)145通信和接收代表MR體驗(yàn)的共享理解信息，并向其他設(shè)備提供數(shù)據(jù)，例如IMU數(shù)據(jù)215提供的位置信息。MR設(shè)備110還可以由用戶穿戴者配置為基于用戶偏好過(guò)濾音頻信號(hào)。處理器230可以使用所述偏好以及共享的理解信息來(lái)執(zhí)行MR設(shè)備110聲音系統(tǒng)音頻混合功能。

　　MR設(shè)備110和計(jì)算系統(tǒng)145之間的交互可用于抑制或解鎖由MR設(shè)備聲音系統(tǒng)提供的聲音。例如在諸如尋寶之類的游戲中，每個(gè)用戶可能有不同的游戲級(jí)別。在某種程度上，額外的聲音可以“解鎖”，換句話說(shuō)，比如對(duì)于10級(jí)別，鸚鵡的聲音可以解鎖，并作為進(jìn)入下一關(guān)卡的線索。通過(guò)每個(gè)用戶的MR設(shè)備執(zhí)行音頻文件的選擇和混合，每個(gè)用戶可以自己前進(jìn)，但大家都可以通過(guò)空間聲音系統(tǒng)130的揚(yáng)聲器經(jīng)由第一聲道音頻提供的背景叢林聲音。

　　如上所述，每個(gè)音響系統(tǒng)選擇音頻文件和從音頻文件混合聲音的能力提供了選擇在MR體驗(yàn)期間如何在MR空間播放和感知聲音的能力。

　　在一個(gè)示例算法中，在MR空間音響系統(tǒng)揚(yáng)聲器上播放低于選定頻率的聲音。高于所選頻率的聲音引導(dǎo)至用戶的MR設(shè)備揚(yáng)聲器。例如，算法可以根據(jù)用戶位置和與MR空間內(nèi)全息圖的交互而變化。所選頻率的選擇可以是完全任意，甚至可以基于每個(gè)聲音系統(tǒng)的揚(yáng)聲器的相對(duì)保真度。換言之，不同頻率的聲音引導(dǎo)到聲音系統(tǒng)，以便用戶主觀上會(huì)聽(tīng)到更好的聲音。關(guān)于所選頻率范圍放大的個(gè)人用戶偏好同時(shí)可用于混合聲音，以便聽(tīng)力受損的用戶能夠更好地聽(tīng)到相關(guān)聲音。

　　在另一個(gè)示例中，來(lái)自虛擬源的聲音可以通過(guò)MR設(shè)備聲音系統(tǒng)和MR空間聲音系統(tǒng)進(jìn)行不同的混合。在叢林MR體驗(yàn)空間中，可以根據(jù)用戶MR設(shè)備的位置和全息圖獵豹的位置播放獵豹咆哮。如果在空間中彼此遠(yuǎn)離，則只能通過(guò)MR空間音響系統(tǒng)播放聲音。如果彼此靠近，低頻聲音可以由附近的MR空間聲音系統(tǒng)130揚(yáng)聲器播放，而高頻聲音由用戶的MR設(shè)備聲音系統(tǒng)播放。較高頻率的聲音可能與較低頻率的聲音同步，給人以獵豹靠近的感覺(jué)。

　　MR空間聲音系統(tǒng)130音頻或空間音頻可以在多用戶MR體驗(yàn)中共享�？臻g音頻的混音可能受用戶位置的影響。例如，假設(shè)空間中的一個(gè)揚(yáng)聲器有第一個(gè)用戶和第二個(gè)用戶。第一個(gè)用戶在虛擬獵豹旁邊。第二個(gè)用戶在5米之外。MR空間音響系統(tǒng)可以以適合第二用戶聽(tīng)到的音量播放獵豹聲�？拷鼡P(yáng)聲器的第一位用戶的MR音頻系統(tǒng)會(huì)混合音頻信號(hào)以增加獵豹的聲音，以補(bǔ)償房間揚(yáng)聲器的音量降低。當(dāng)?shù)诙�個(gè)用戶移向獵豹時(shí)，共享空間揚(yáng)聲器混音的音量會(huì)增加。第一和第二用戶的MR陰癖系統(tǒng)調(diào)整其私人混音，以適應(yīng)房間揚(yáng)聲器的變化。

　　每個(gè)設(shè)備的混音也可以基于空間相關(guān)音頻執(zhí)行。例如，想象一個(gè)占據(jù)一半空間的虛擬龍卷風(fēng)。如果第一個(gè)用戶在龍卷風(fēng)中，但第二個(gè)用戶沒(méi)有，揚(yáng)聲器將需要播放適合第二個(gè)用戶的音頻，而第一個(gè)用戶的MR設(shè)備通過(guò)混合音頻進(jìn)行補(bǔ)償，使第一個(gè)用戶聽(tīng)到他們?cè)谔摂M龍卷風(fēng)中。但如果兩個(gè)用戶都在龍卷風(fēng)中，MR空間音頻系統(tǒng)可以為揚(yáng)聲器混音，指示其在龍卷風(fēng)中，并且第一個(gè)用戶的設(shè)備不再需要補(bǔ)償。

　　圖3是示出在不同聲音系統(tǒng)之間在混合現(xiàn)實(shí)體驗(yàn)中分割聲音的計(jì)算機(jī)實(shí)現(xiàn)方法300的流程圖。在操作310，接收在混合現(xiàn)實(shí)空間中的混合現(xiàn)實(shí)體驗(yàn)期間發(fā)生的事件的指示。操作320識(shí)別與預(yù)期用于混合現(xiàn)實(shí)空間聲音系統(tǒng)的事件相對(duì)應(yīng)的第一音頻數(shù)據(jù)。操作330識(shí)別與預(yù)期用于第一用戶的第一混合現(xiàn)實(shí)裝置聲音系統(tǒng)的事件相對(duì)應(yīng)的第二音頻數(shù)據(jù)。在一個(gè)實(shí)施例中，第一音頻和第二音頻數(shù)據(jù)可以包括一個(gè)或多個(gè)數(shù)字音頻數(shù)據(jù)文件。在操作340處，將第一音頻和第二音頻數(shù)據(jù)提供給各個(gè)混合現(xiàn)實(shí)空間聲音系統(tǒng)和第一混合現(xiàn)實(shí)設(shè)備聲音系統(tǒng)中的揚(yáng)聲器。

　　在一個(gè)實(shí)施例中，每個(gè)聲音系統(tǒng)可以聯(lián)網(wǎng)在一起，并且對(duì)關(guān)于混合現(xiàn)實(shí)空間體驗(yàn)的信息(包括正在發(fā)生的事件)具有共享的理解。聲音系統(tǒng)使用對(duì)信息的共享理解來(lái)混合來(lái)自數(shù)字音頻數(shù)據(jù)文件的聲音，從而為一個(gè)或多個(gè)用戶提供更好的混合現(xiàn)實(shí)音頻體驗(yàn)。

　　混合現(xiàn)實(shí)空間聲音系統(tǒng)基于共享的理解信息混合來(lái)自一個(gè)或多個(gè)第一音頻數(shù)據(jù)數(shù)字音頻數(shù)據(jù)文件的聲音，這包括一個(gè)或多個(gè)事件、混合現(xiàn)實(shí)空間中的用戶位置、最低用戶音頻電平、共享用戶設(shè)置、一個(gè)或多個(gè)揚(yáng)聲器的特性，并且易于與第一臺(tái)混合現(xiàn)實(shí)設(shè)備同步聲音。在一個(gè)實(shí)施例中，可以存在多個(gè)混合現(xiàn)實(shí)空間聲音系統(tǒng)，每個(gè)混合現(xiàn)實(shí)空間聲音系統(tǒng)用于一個(gè)或多個(gè)混合現(xiàn)實(shí)空間揚(yáng)聲器。

　　房間中的用戶位置可能包括與全息圖相關(guān)的距離/角度/方向信息。用戶位置還可以指示用戶在具有音頻的特定區(qū)域內(nèi)，例如用戶是否在虛擬龍卷風(fēng)內(nèi)。

　　最低用戶音頻電平與房間揚(yáng)聲器的音量有關(guān)。如果用戶聽(tīng)不到特定的聲音(用戶a在體驗(yàn)中沒(méi)有解鎖小鳥(niǎo)，但其他用戶有)，特定聲音(小鳥(niǎo)歌曲)將不會(huì)通過(guò)房間音頻播放。如果一個(gè)用戶離聲源/聲音觸發(fā)區(qū)域太遠(yuǎn)，則房間揚(yáng)聲器的聲音將僅在距離最遠(yuǎn)的人應(yīng)該聽(tīng)到的音量下播放。

　　共享用戶設(shè)置和能力\每個(gè)音響系統(tǒng)的揚(yáng)聲器特性同樣可用于混音。

　　在另一個(gè)實(shí)施例中，與MR設(shè)備聲音系統(tǒng)音頻同步的容易程度可以基于由于頻率、聲音特征與短流行音樂(lè)或需要最小同步的聲音而導(dǎo)致的匹配的容易程度。

　　第一混合現(xiàn)實(shí)設(shè)備聲音系統(tǒng)基于共享的理解信息混合來(lái)自一個(gè)或多個(gè)第一音頻數(shù)據(jù)數(shù)字音頻數(shù)據(jù)文件的聲音，混合來(lái)自一個(gè)或多個(gè)第二音頻數(shù)據(jù)數(shù)字音頻數(shù)據(jù)文件的聲音，第一用戶偏好、用戶狀態(tài)、混合現(xiàn)實(shí)設(shè)備揚(yáng)聲器的特性以及與第一混合現(xiàn)實(shí)設(shè)備的聲音同步的容易程度。其他用戶的其他混合現(xiàn)實(shí)設(shè)備也這樣做，以便每個(gè)用戶都能獲得增強(qiáng)的個(gè)性化音頻體驗(yàn)。

　　用戶在房間中的位置可能包括與全息圖相關(guān)的距離/角度/方向，或者如果用戶在音頻的特定區(qū)域內(nèi)，例如是否在虛擬龍卷風(fēng)內(nèi)。每個(gè)MR設(shè)備聲音系統(tǒng)可以使用用戶偏好和用戶狀態(tài)來(lái)混合適合每個(gè)用戶級(jí)別的聲音。揚(yáng)聲器的功能\特性以及與房間音頻的易同步性同時(shí)可以類似于MR空間音響系統(tǒng)使用的方式使用。

　　方法300可包括識(shí)別與第二混合現(xiàn)實(shí)設(shè)備聲音系統(tǒng)的事件對(duì)應(yīng)的第三音頻數(shù)據(jù)的操作350。在操作360，為混合現(xiàn)實(shí)空間中的第二用戶向第二混合現(xiàn)實(shí)設(shè)備聲音系統(tǒng)的揚(yáng)聲器提供第三音頻數(shù)據(jù)信號(hào)。

　　圖4是示出通常在400處對(duì)應(yīng)于爆炸事件的示例數(shù)字音頻數(shù)據(jù)文件的框圖。多個(gè)數(shù)字音頻數(shù)據(jù)文件可按事件類型編制索引。例如，可能存在多種不同類型的爆炸，每種爆炸具有不同的數(shù)字音頻數(shù)據(jù)文件。圖4顯示了三種類型的爆炸：A、B和C。另外可以存在多個(gè)不同類型的事件，每個(gè)事件與一個(gè)或多個(gè)數(shù)字音頻數(shù)據(jù)文件關(guān)聯(lián)。

　　另一個(gè)示例可能包括聲音系統(tǒng)在特定時(shí)間播放的槍聲音頻文件。MR設(shè)備音響系統(tǒng)的音頻文件可包括呼嘯聲MP3文件，用于在MR設(shè)備音響系統(tǒng)揚(yáng)聲器中創(chuàng)建與穿過(guò)佩戴者的一顆或多顆子彈相對(duì)應(yīng)的聲音，同時(shí)MR空間音響系統(tǒng)在子彈穿過(guò)聲音之前播放槍聲。

　　在各種實(shí)施例中，所述文件中的每一個(gè)可以具有眾多不同的選項(xiàng)。所述選項(xiàng)可以包括不同類型的爆炸，不同類型槍發(fā)射的不同數(shù)量的子彈，以及子彈在撞擊全息圖對(duì)象時(shí)發(fā)出的不同聲音。

　　圖5是用于實(shí)現(xiàn)一個(gè)或多個(gè)設(shè)備的計(jì)算機(jī)系統(tǒng)500的框圖。在各種實(shí)施例中，不需要使用所有組件。

　　名為“Mixed reality complementary systems的微軟專利申請(qǐng)最初在2020年6月提交，并在日前由美國(guó)專利商標(biāo)局公布。