只需3秒鐘,一個(gè)根本沒(méi)聽(tīng)過(guò)你說(shuō)話的AI,就能完美模仿出你的聲音。
是不是細(xì)思極恐?
這是微軟最新AI成果——語(yǔ)音合成模型VALL·E,只需3秒語(yǔ)音,就能隨意復(fù)制任何人的聲音。
它脫胎于DALL·E,但專攻音頻領(lǐng)域,語(yǔ)音合成效果在網(wǎng)上放出后火了:
有網(wǎng)友表示,要是將VALL·E和ChatGPT結(jié)合起來(lái),效果簡(jiǎn)直爆炸:
看來(lái)與GPT-4在Zoom里聊天的日子不遠(yuǎn)了。
還有網(wǎng)友調(diào)侃,(繼AI搞定作家、畫家之后)下一個(gè)就是配音演員了。
所以VALL·E究竟怎么做到3秒鐘模仿“沒(méi)聽(tīng)過(guò)”的聲音?
用語(yǔ)言模型來(lái)分析音頻
基于AI“沒(méi)聽(tīng)過(guò)”的聲音合成語(yǔ)音,即零樣本學(xué)習(xí)。
語(yǔ)音合成趨于成熟,但之前零樣本語(yǔ)音合成效果并不好。
主流語(yǔ)音合成方案基本是預(yù)訓(xùn)練+微調(diào)模式,如果用到零樣本場(chǎng)景下,會(huì)導(dǎo)致生成語(yǔ)音相似度和自然度很差。
基于此,VALL·E橫空出世,相比主流語(yǔ)音模型提出了不太一樣的思路。
相比傳統(tǒng)模型采用梅爾頻譜提取特征,VALL·E直接將語(yǔ)音合成當(dāng)成了語(yǔ)言模型的任務(wù),前者是連續(xù)的,后者是離散化的。
具體來(lái)說(shuō),傳統(tǒng)語(yǔ)音合成流程往往是“音素→梅爾頻譜(mel-spectrogram)→波形”這樣的路子。
但VALL·E將這一流程變成了“音素→離散音頻編碼→波形”:
具體到模型設(shè)計(jì)上,VALL·E也和VQVAE類似,將音頻量化成一系列離散tokens,其中第一個(gè)量化器負(fù)責(zé)捕捉音頻內(nèi)容和說(shuō)話者身份特征,后幾個(gè)量化器則負(fù)責(zé)細(xì)化信號(hào),使之聽(tīng)起來(lái)更自然:
隨后以文本和3秒鐘的聲音提示作為條件,自回歸地輸出離散音頻編碼:
VALL·E還是個(gè)全能選手,除了零樣本語(yǔ)音合成,同時(shí)還支持語(yǔ)音編輯、與GPT-3結(jié)合的語(yǔ)音內(nèi)容創(chuàng)建。
那么在實(shí)際測(cè)試中,VALL·E的效果如何呢?
連環(huán)境背景音都能還原
根據(jù)已合成的語(yǔ)音效果來(lái)看,VALL·E能還原的絕不僅僅是說(shuō)話人的音色。
不僅語(yǔ)氣模仿到位,而且還支持多種不同語(yǔ)速的選擇,例如這是在兩次說(shuō)同一句話時(shí),VALL·E給出的兩種不同語(yǔ)速,但音色相似度仍然較高:
同時(shí),連說(shuō)話者的環(huán)境背景音也能準(zhǔn)確還原。
除此之外,VALL·E還能模仿說(shuō)話者的多種情緒,包括憤怒、困倦、中立、愉悅和惡心等好幾種類型。
值得一提的是,VALL·E訓(xùn)練用的數(shù)據(jù)集不算特別大。
相比OpenAI的Whisper用了68萬(wàn)小時(shí)的音頻訓(xùn)練,在只用了7000多名演講者、6萬(wàn)小時(shí)訓(xùn)練的情況下,VALL·E就在語(yǔ)音合成相似度上超過(guò)了經(jīng)過(guò)預(yù)訓(xùn)練的語(yǔ)音合成模型YourTTS。
而且,YourTTS在訓(xùn)練時(shí),事先已經(jīng)聽(tīng)過(guò)108個(gè)演講者中的97人聲音,但在實(shí)際測(cè)試中還是比不過(guò)VALL·E。
有網(wǎng)友已經(jīng)在暢想它可以應(yīng)用的地方了:
不僅可以用在模仿自己的聲音上,例如幫助殘障人士和別人完成對(duì)話,也可以在自己不想說(shuō)話時(shí)用它代替自己發(fā)語(yǔ)音。
當(dāng)然,還可以用在有聲書的錄制上。
不過(guò),VALL·E目前還沒(méi)開(kāi)源,要想試用可能還得再等等。
作者介紹這篇論文所有作者均來(lái)自微軟,其中有三位共同一作。
一作Chengyi Wang,南開(kāi)大學(xué)和微軟亞研院聯(lián)合培養(yǎng)博士生,研究興趣是語(yǔ)音識(shí)別、語(yǔ)音翻譯和語(yǔ)音預(yù)訓(xùn)練模型等。
共同一作Sanyuan Chen,哈工大和微軟亞研院聯(lián)合培養(yǎng)博士生,研究方向包括自監(jiān)督學(xué)習(xí)、NLP和語(yǔ)音處理等。
共同一作Yu Wu,微軟亞研院NLP小組研究員,在北航獲得博士學(xué)位,研究方向是語(yǔ)音處理、聊天機(jī)器人系統(tǒng)和機(jī)器翻譯等。
感興趣的小伙伴可以戳下方論文地址查看~
論文地址:https://arxiv.org/abs/2301.02111
音頻試聽(tīng)地址:https://valle-demo.github.io/
參考鏈接:https://twitter.com/DrJimFan/status/1611397525541617665
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請(qǐng)謹(jǐn)慎對(duì)待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。
近日,德國(guó)柏林國(guó)際電子消費(fèi)品展覽會(huì)(IFA2024)隆重舉辦。憑借在核心技術(shù)、產(chǎn)品設(shè)計(jì)及應(yīng)用方面的創(chuàng)新變革,全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)成功斬獲兩項(xiàng)“IFA全球產(chǎn)品設(shè)計(jì)創(chuàng)新大獎(jiǎng)”金獎(jiǎng),有力證明了其在全球市場(chǎng)的強(qiáng)大影響力。
近日,中國(guó)家電及消費(fèi)電子博覽會(huì)(AWE 2024)隆重開(kāi)幕。全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)攜多款創(chuàng)新技術(shù)和新品亮相,以敢為精神勇闖技術(shù)無(wú)人區(qū),斬獲四項(xiàng)AWE 2024艾普蘭大獎(jiǎng)。
“以前都要去窗口辦,一套流程下來(lái)都要半個(gè)月了,現(xiàn)在方便多了!”打開(kāi)“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
由世界人工智能大會(huì)組委會(huì)、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會(huì)共同指導(dǎo),由上海市人工智能行業(yè)協(xié)會(huì)聯(lián)合上海人工智能實(shí)驗(yàn)室、上海臨港經(jīng)濟(jì)發(fā)展(集團(tuán))有限公司、開(kāi)放原子開(kāi)源基金會(huì)主辦的“2024全球開(kāi)發(fā)者先鋒大會(huì)”,將于2024年3月23日至24日舉辦。