沉浸音頻產(chǎn)業(yè)化新進(jìn)展 抖音技術(shù)團(tuán)隊(duì)牽頭制定AVS音頻團(tuán)體標(biāo)準(zhǔn)

　　近日，AVS(Audio Video Standard) 音頻團(tuán)體標(biāo)準(zhǔn)《信息技術(shù) 虛擬現(xiàn)實(shí)內(nèi)容表達(dá) 音頻》(標(biāo)準(zhǔn)號(hào)T/AI 125-2023)發(fā)布，標(biāo)志著國內(nèi)沉浸音頻技術(shù)在產(chǎn)業(yè)上應(yīng)用趨于成熟，為多媒體內(nèi)容多樣化與個(gè)性化提供了有力的技術(shù)支撐。

　　沉浸音頻，也稱VR音頻，3D音頻、空間音頻，是新一代音頻呈現(xiàn)方式，相比立體聲擁有更好的空間呈現(xiàn)效果，能精準(zhǔn)地再現(xiàn)每個(gè)音源的位置和所處環(huán)境的空間信息。當(dāng)前，沉浸音頻帶來的沉浸式體驗(yàn)已經(jīng)在影視、廣電、音樂、游戲等場(chǎng)景有廣泛的應(yīng)用。

　　據(jù)了解，AVS 《信息技術(shù) 虛擬現(xiàn)實(shí)內(nèi)容表達(dá) 音頻》標(biāo)準(zhǔn)由抖音視頻架構(gòu)沉浸音頻團(tuán)隊(duì)牽頭制定。在此過程中，該團(tuán)隊(duì)先后提交了20余份技術(shù)提案，貢獻(xiàn)了多項(xiàng)核心技術(shù)，參加了兩次復(fù)合性驗(yàn)證與技術(shù)評(píng)選，形成十幾項(xiàng)前沿技術(shù)專利，開源了一套完整的空間音頻渲染解決方案，經(jīng)過三年時(shí)間不斷完善，建立起了這項(xiàng)國內(nèi)第三代音頻內(nèi)容表達(dá)標(biāo)準(zhǔn)，提供了更加豐富的多媒體呈現(xiàn)能力。

　　沉浸式音頻解決方案示意圖

　　沉浸音頻是一種聲場(chǎng)重建與還原技術(shù)，當(dāng)聲音進(jìn)入耳朵時(shí)，在耳廓、頭部附近時(shí)傳播路線發(fā)生變化，到達(dá)左右耳的時(shí)間上也有微小的差別，所以真正聽到的聲音與原始音源并不一樣，通過沉浸音頻渲染，可以使佩戴耳機(jī)時(shí)與不戴耳機(jī)獲得一樣的聽覺感受，具有三維空間感和沉浸感，具備真實(shí)環(huán)境的房間聲學(xué)效果。雙耳渲染演示如下圖：

　　雙耳渲染演示示意圖

　　早在《信息技術(shù) 虛擬現(xiàn)實(shí)內(nèi)容表達(dá) 音頻》標(biāo)準(zhǔn)發(fā)布前，沉浸音頻技術(shù)就得到了新媒體行業(yè)的青睞，在眾多的場(chǎng)景中嶄露頭角。2022年9月中央廣播電視總臺(tái)“云聽”客戶端使用AVS VR音頻標(biāo)準(zhǔn)中的耳機(jī)渲染技術(shù)完成CCTV中秋晚會(huì)現(xiàn)場(chǎng)直播;2022年11月世界杯央視轉(zhuǎn)播演示系統(tǒng)使用了AVS VR音頻標(biāo)準(zhǔn)中的揚(yáng)聲器渲染技術(shù)進(jìn)行監(jiān)聽;2023年總臺(tái)春節(jié)聯(lián)歡晚會(huì)使用AVS VR音頻標(biāo)準(zhǔn)中的耳機(jī)渲染技術(shù)完成“菁彩聲”頻道現(xiàn)場(chǎng)直播;2024年杭州亞運(yùn)會(huì)央視體育從制作端生成元數(shù)據(jù)，按制作者意圖生成實(shí)時(shí)、動(dòng)態(tài)元數(shù)據(jù)下發(fā)，實(shí)現(xiàn)了制作、監(jiān)聽與下發(fā)數(shù)據(jù)的完整“菁彩聲”流程。

　　2023年總臺(tái)春晚使用AVS VR音頻技術(shù)實(shí)現(xiàn)三維菁彩聲直播

　　沉浸音頻與VR/MR場(chǎng)景緊密結(jié)合。在VR/MR平臺(tái)上三維視覺、觸覺與三維音頻現(xiàn)象同步，賦予了用戶身臨其境的真實(shí)感。《信息技術(shù) 虛擬現(xiàn)實(shí)內(nèi)容表達(dá) 音頻》空間音頻渲染技術(shù)已集成在VR平臺(tái)PICO上，用戶可以使用其制作出具有聲源的方位感、環(huán)境對(duì)聲波的反射、透射等聲學(xué)現(xiàn)象的內(nèi)容作品，從而為消費(fèi)者營造符合物理現(xiàn)實(shí)的沉浸式音頻體驗(yàn)。目前，該項(xiàng)空間音頻渲染技術(shù)也通過字節(jié)跳動(dòng)旗下的云服務(wù)平臺(tái)火山引擎面向企業(yè)客戶開放。

　　隨著《信息技術(shù) 虛擬現(xiàn)實(shí)內(nèi)容表達(dá) 音頻》標(biāo)準(zhǔn)的發(fā)布，多媒體內(nèi)容表達(dá)有望朝著更沉浸的方向發(fā)展，帶給用戶身臨其境的真實(shí)體驗(yàn) 。