字節(jié)推語音生成模型Seed-TTS 擅長感情控制，聲音與真人無異

　　繼ChatTTS之后，字節(jié)跳動團(tuán)隊提出了一種名為Seed-TTS的新型語音生成模型。Seed-TTS基于自回歸Transformer架構(gòu)，能夠生成聽起來非常自然且富有表現(xiàn)力的語音，其質(zhì)量與人類語音極為接近，難以區(qū)分。

　　演示視頻

　　該模型在多個方面表現(xiàn)出色，特別是在情感控制、小說配音和跨語言內(nèi)容創(chuàng)作等方面。Seed-TTS模型通過自我蒸餾和強(qiáng)化學(xué)習(xí)技術(shù)，提升了其發(fā)音的自然性和可控性。此外，研究團(tuán)隊還提出了該模型的非自回歸變體，進(jìn)一步增強(qiáng)了模型的性能。

　　Seed-TTS的推理過程包括四個主要步驟:

　　語音分詞器:學(xué)習(xí)并理解參考語音中的各個音素或音標(biāo)。

　　自回歸語言模型:根據(jù)輸入的文本和已有的語音信息生成語音標(biāo)記。

　　擴(kuò)散變換器:采用分層方法生成連續(xù)的語音表示，為語音合成提供中間特征。

　　聲學(xué)波形合成器:從擴(kuò)散變換器的輸出生成更高質(zhì)量的語音波形。

　　Seed-TTS在多種語音特征的可控性上展現(xiàn)出優(yōu)越性能，并且在不同語言的語音生成任務(wù)中也有良好的表現(xiàn)。它在零樣本(zero-shot)語境學(xué)習(xí)、發(fā)音調(diào)整和情感控制方面具有廣泛的應(yīng)用潛力。

　　總體而言，Seed-TTS模型在語音合成領(lǐng)域帶來了顯著的進(jìn)展，為創(chuàng)造更自然、更可控的語音合成技術(shù)開辟了新的道路。這項技術(shù)的突破預(yù)示著未來在提高語音合成自然度和表現(xiàn)力方面將會有更多的可能性和創(chuàng)新應(yīng)用。