Meta翻譯大模型可模仿語(yǔ)氣語(yǔ)速，AI再也不“莫得感情”了

　　本文來(lái)自微信公眾號(hào)“量子位”(ID:QbitAI)，作者:豐色。

　　Meta發(fā)布了全新AI翻譯大模型，實(shí)時(shí)語(yǔ)音轉(zhuǎn)換延遲不超過(guò)2秒。

　　感受一把這個(gè)速度(西班牙語(yǔ)<=>英語(yǔ)):

　　不僅速度快，它的準(zhǔn)確率還和離線模型一樣高。

　　最重要的是，像什么停頓、語(yǔ)氣、語(yǔ)速和情緒…… 它都可以復(fù)刻。

　　例如模仿耳語(yǔ):

　　原聲1，量子位，3秒

　　翻譯1，量子位，3秒

　　例如模仿悲傷:

　　原聲2，量子位，3秒

　　翻譯2，量子位，3秒

　　有了它，再也不用吐槽AI翻譯“莫的感情”了。

　　有網(wǎng)友則表示:

　　AI這發(fā)展速度，再過(guò)幾年咱們學(xué)一門新語(yǔ)言就像學(xué)寫字一樣簡(jiǎn)單。

　　不由地讓人想象70億人說(shuō)同一種語(yǔ)言是什么感覺(jué)。

　　目前，此模型已在GitHub已攬獲近9k標(biāo)星，可謂爆受歡迎。

　　除了開源下載，官方也提供了demo供大家嘗試體驗(yàn)。4種型號(hào)，非自回歸架構(gòu)

　　Meta此次發(fā)布的是一個(gè)翻譯模型系列:Seamless Communication(無(wú)縫交流)。

　　4個(gè)不同型號(hào)分別為:

　　SeamlessExpressive

　　可以保留跨語(yǔ)言語(yǔ)音復(fù)雜性的模型，包括停頓、語(yǔ)速、情緒等內(nèi)容。

　　SeamlessStreaming

　　大規(guī)模多語(yǔ)言模型，提供大約2秒延遲的語(yǔ)音和文本翻譯，與離線模型準(zhǔn)確率幾乎一樣高。

　　支持近100種輸入語(yǔ)言和36種輸出語(yǔ)言的語(yǔ)音到語(yǔ)音翻譯，支持近100種輸入和輸出語(yǔ)言的自動(dòng)語(yǔ)音識(shí)別和語(yǔ)音到文本翻譯。

　　SeamlessM4T v2

　　前兩個(gè)模型的底座模型，多語(yǔ)言多任務(wù)，今年8月發(fā)布的第一個(gè)版本，實(shí)現(xiàn)跨語(yǔ)音和文本翻譯的SOTA結(jié)果。

　　這一新版本采用的是帶有非自回歸文本到單元解碼器的新架構(gòu)，可提高文本和語(yǔ)音輸出之間的一致性。

　　Seamless

　　將前三種模型的功能融為一體的模型。

　　開源的是前三個(gè)。

　　那么，這一系列模型具體怎么打造出來(lái)的?

　　據(jù)官方博客介紹，以上所有模型都由fairseq2提供支持。

　　后者是一個(gè)用于序列到序列任務(wù)的輕量建模工具包，支持機(jī)器翻譯、語(yǔ)音識(shí)別等任務(wù)，可與PyTorch生態(tài)系統(tǒng)庫(kù)組合。

　　此外，還包括具有非自回歸文本到單元(text-to-unit)解碼器的新架構(gòu)UnitY2。

　　它的語(yǔ)音生成能力很強(qiáng)。

　　在SeamlessM4T v2中，Meta使用multitask-UnitY2來(lái)啟用文本輸入。

　　在SeamlessStreaming和SeamlessExpressive中，UnitY2也作為模型架構(gòu)構(gòu)建基礎(chǔ)。

　　在此，Meta也特別解釋了一下為什么要采用非自回歸架構(gòu)。

　　這是因?yàn)椋�自回歸模型雖然模擬語(yǔ)音很自然，但隨著序列長(zhǎng)度的增加，它們的擴(kuò)展性很差。

　　而非自回歸模型預(yù)測(cè)每個(gè)片段的持續(xù)時(shí)間，使得每個(gè)片段可以并行解碼。

　　因此它對(duì)長(zhǎng)序列具有魯棒性，更適應(yīng)流媒體場(chǎng)景。

　　那么，說(shuō)到流媒體，Meta的模型是如何快速又準(zhǔn)確地翻譯實(shí)時(shí)語(yǔ)音的呢?

　　核心算法是EMMA，一個(gè)可以智能決定何時(shí)已經(jīng)擁有足夠的信息來(lái)生成下一個(gè)語(yǔ)音片段或目標(biāo)文本的模型。

　　它還可以從離線模型中進(jìn)行微調(diào)，讓準(zhǔn)確率更高。

　　原理的最后一部分，主要說(shuō)說(shuō)Meta的模型又是如何讓翻譯不機(jī)械，富有表現(xiàn)力的。

　　在此，他們用PRETSSEL(一個(gè)語(yǔ)音到單元生成器)替換SeamlessM4T v2中的HiFi-GAN 聲碼器單元。

　　這個(gè)生成器以源語(yǔ)音為條件來(lái)生成波形，以此傳輸音調(diào)、情感表達(dá)和聲音風(fēng)格質(zhì)量等信息。

　　此外，團(tuán)隊(duì)還開發(fā)了Prosody UnitY2，將它集成到SeamlessM4T v2中，讓它指導(dǎo)模型生成具有適當(dāng)節(jié)奏、語(yǔ)速和停頓的單元生成。 兩項(xiàng)特別的工作

　　除了以上這些，Meta還介紹了兩項(xiàng)額外的工作。

　　一是“毒性緩解”。

　　指的是翻譯準(zhǔn)確性的問(wèn)題，在這種翻譯任務(wù)中，意外的錯(cuò)誤或幻覺(jué)可能會(huì)導(dǎo)致兩個(gè)不同語(yǔ)言的人產(chǎn)生誤會(huì)。

　　由于這一問(wèn)題的主要原因通常在于訓(xùn)練數(shù)據(jù)。

　　所以Meta做的第一件事就是在訓(xùn)練前過(guò)濾一遍數(shù)據(jù)中出現(xiàn)的“有毒內(nèi)容”。

　　但這只是被動(dòng)的，并不能完全防問(wèn)題發(fā)生。

　　因此，他們提出直接在翻譯生成過(guò)程中自動(dòng)檢測(cè)生成的有毒單詞，確有問(wèn)題時(shí)自動(dòng)重新調(diào)整生成過(guò)程并使用新單詞來(lái)表達(dá)。

　　這個(gè)過(guò)程在推理時(shí)就能做，不需要對(duì)翻譯模型進(jìn)行任何微調(diào)。

　　最終，它顯著減少了翻譯“毒性”，并同時(shí)保持翻譯質(zhì)量。

　　二是音頻水印。

　　為了防止可能的濫用風(fēng)險(xiǎn)，Meta翻譯模型也為音頻添加了水印。

　　方式是主動(dòng)在音頻中嵌入人耳無(wú)法覺(jué)察的信號(hào)，用專門的檢測(cè)器模型可以檢測(cè)出來(lái);通過(guò)這個(gè)水印，我們就可以準(zhǔn)確追蹤音頻的來(lái)源。

　　除此之外，這一水印還可以對(duì)抗各種攻擊，比如有人想通過(guò)添加噪音、回聲或過(guò)濾某范圍內(nèi)的頻率來(lái)修改音頻、淡化水印以此來(lái)繞過(guò)檢測(cè)，就是行不通的。 One More Thing

　　除了模型、論文，Meta還同步開源了此系列翻譯模型的元數(shù)據(jù)、數(shù)據(jù)和數(shù)據(jù)對(duì)齊工具。

　　其中元數(shù)據(jù)包括58.5萬(wàn)小時(shí)的語(yǔ)音文本對(duì)，涵蓋76種語(yǔ)言。

　　這是迄今為止總?cè)萘孔畲�、語(yǔ)言覆蓋范圍最廣的語(yǔ)音語(yǔ)料庫(kù)。