沉浸音頻產(chǎn)業(yè)化新進展 抖音技術(shù)團隊牽頭制定AVS音頻團體標準

　　近日，AVS(Audio Video Standard) 音頻團體標準《信息技術(shù) 虛擬現(xiàn)實內(nèi)容表達 音頻》(標準號T/AI 125-2023)發(fā)布，標志著國內(nèi)沉浸音頻技術(shù)在產(chǎn)業(yè)上應用趨于成熟，為多媒體內(nèi)容多樣化與個性化提供了有力的技術(shù)支撐。

　　沉浸音頻，也稱VR音頻，3D音頻、空間音頻，是新一代音頻呈現(xiàn)方式，相比立體聲擁有更好的空間呈現(xiàn)效果，能精準地再現(xiàn)每個音源的位置和所處環(huán)境的空間信息。當前，沉浸音頻帶來的沉浸式體驗已經(jīng)在影視、廣電、音樂、游戲等場景有廣泛的應用。

　　據(jù)了解，AVS 《信息技術(shù) 虛擬現(xiàn)實內(nèi)容表達 音頻》標準由抖音視頻架構(gòu)沉浸音頻團隊牽頭制定。在此過程中，該團隊先后提交了20余份技術(shù)提案，貢獻了多項核心技術(shù)，參加了兩次復合性驗證與技術(shù)評選，形成十幾項前沿技術(shù)專利，開源了一套完整的空間音頻渲染解決方案，經(jīng)過三年時間不斷完善，建立起了這項國內(nèi)第三代音頻內(nèi)容表達標準，提供了更加豐富的多媒體呈現(xiàn)能力。

　　沉浸式音頻解決方案示意圖

　　沉浸音頻是一種聲場重建與還原技術(shù)，當聲音進入耳朵時，在耳廓、頭部附近時傳播路線發(fā)生變化，到達左右耳的時間上也有微小的差別，所以真正聽到的聲音與原始音源并不一樣，通過沉浸音頻渲染，可以使佩戴耳機時與不戴耳機獲得一樣的聽覺感受，具有三維空間感和沉浸感，具備真實環(huán)境的房間聲學效果。雙耳渲染演示如下圖：

　　雙耳渲染演示示意圖

　　早在《信息技術(shù) 虛擬現(xiàn)實內(nèi)容表達 音頻》標準發(fā)布前，沉浸音頻技術(shù)就得到了新媒體行業(yè)的青睞，在眾多的場景中嶄露頭角。2022年9月中央廣播電視總臺“云聽”客戶端使用AVS VR音頻標準中的耳機渲染技術(shù)完成CCTV中秋晚會現(xiàn)場直播;2022年11月世界杯央視轉(zhuǎn)播演示系統(tǒng)使用了AVS VR音頻標準中的揚聲器渲染技術(shù)進行監(jiān)聽;2023年總臺春節(jié)聯(lián)歡晚會使用AVS VR音頻標準中的耳機渲染技術(shù)完成“菁彩聲”頻道現(xiàn)場直播;2024年杭州亞運會央視體育從制作端生成元數(shù)據(jù)，按制作者意圖生成實時、動態(tài)元數(shù)據(jù)下發(fā)，實現(xiàn)了制作、監(jiān)聽與下發(fā)數(shù)據(jù)的完整“菁彩聲”流程。

　　2023年總臺春晚使用AVS VR音頻技術(shù)實現(xiàn)三維菁彩聲直播

　　沉浸音頻與VR/MR場景緊密結(jié)合。在VR/MR平臺上三維視覺、觸覺與三維音頻現(xiàn)象同步，賦予了用戶身臨其境的真實感�！缎畔⒓夹g(shù) 虛擬現(xiàn)實內(nèi)容表達 音頻》空間音頻渲染技術(shù)已集成在VR平臺PICO上，用戶可以使用其制作出具有聲源的方位感、環(huán)境對聲波的反射、透射等聲學現(xiàn)象的內(nèi)容作品，從而為消費者營造符合物理現(xiàn)實的沉浸式音頻體驗。目前，該項空間音頻渲染技術(shù)也通過字節(jié)跳動旗下的云服務平臺火山引擎面向企業(yè)客戶開放。

　　隨著《信息技術(shù) 虛擬現(xiàn)實內(nèi)容表達 音頻》標準的發(fā)布，多媒體內(nèi)容表達有望朝著更沉浸的方向發(fā)展，帶給用戶身臨其境的真實體驗 。