EMAGE：上傳音頻就能生成全身動作 包括頭部、嘴型、身體運動

　　最近，多所知名大學(xué)和研究機構(gòu)的研究人員共同提出了 EMAGE 框架，旨在從音頻和掩碼手勢生成全身人類手勢。

　　EMAGE技術(shù)能實現(xiàn)輸入音頻生成全身動作，包括頭部、嘴型、身體、手部和整體運動，跟之前Meta的audio2photoreal很像。用戶只要上傳音頻(小于60秒)，然后點擊提交，輸出結(jié)果將在輸出中呈現(xiàn)3分鐘。

　　他們引入了新的全面共話數(shù)據(jù)集 BEATX，該數(shù)據(jù)集結(jié)合了 MoShed SMPLX 身體和 FLAME 頭部參數(shù)，進一步提高了建模質(zhì)量，特別是對頭部、頸部和手指動作的建模。EMAGE 在訓(xùn)練過程中利用了掩碼手勢的先驗信息，以提高推斷性能。該框架包括一個 Masked Audio Gesture Transformer，有助于聯(lián)合訓(xùn)練音頻到手勢生成和掩碼手勢重建，有效地編碼音頻和身體手勢提示。從掩碼手勢中編碼的身體提示隨后分別用于生成面部和身體動作。

　　此外，EMAGE 自適應(yīng)地合并了音頻的節(jié)奏和內(nèi)容的語音特征，并利用了四個組合 VQ-VAE 來增強結(jié)果的保真度和多樣性。實驗證明，EMAGE 具有最先進的性能，能夠生成具有完整的、音頻同步的整體手勢。

　　EMAGE 技術(shù)的問世將在各個領(lǐng)域產(chǎn)生深遠影響，其中包括但不限于教育、醫(yī)療、娛樂等領(lǐng)域。研究團隊表示，他們的代碼和數(shù)據(jù)集已經(jīng)公開提供，供學(xué)術(shù)和工業(yè)界使用。