MyShell發(fā)布開源AI語音克隆工具OpenVoice，瞄準(zhǔn)語音模仿領(lǐng)域

　　1月3日 消息:MyShell最新推出的開源語音克隆工具OpenVoice引起了廣泛關(guān)注。這一創(chuàng)新產(chǎn)品由麻省理工學(xué)院(MIT)、清華大學(xué)以及加拿大人工智能初創(chuàng)公司MyShell合作開發(fā)。OpenVoice采用了一種概念簡單但高效的方法，可幾乎即時克隆用戶的語音，并使用明顯更少的計算資源。

　　該工具不僅具備語音克隆的基本功能，而且提供了細(xì)致入微的控制選項，涵蓋語調(diào)、情感、節(jié)奏、停頓和語調(diào)等多個方面。這意味著用戶可以通過OpenVoice生成具有個性化風(fēng)格的語音克隆，而無需花費大量時間和計算資源。

　　在作者的非科學(xué)性測試中，使用OpenVoice在HuggingFace平臺上生成了一個相對令人信服的語音克隆，僅需幾秒鐘的隨機(jī)語音即可完成。與其他語音克隆應(yīng)用不同的是，用戶無需朗讀特定文本片段，只需隨意說幾秒鐘的話，即可立即生成可播放的語音克隆，讀取提供的文本提示。

　　OpenVoice的背后是兩個主要的AI模型:文本到語音(TTS)模型和“音調(diào)轉(zhuǎn)換器”模型。TTS模型控制“風(fēng)格參數(shù)和語言”，并且通過來自兩名英語演講者(美國和英國口音)、一名中文演講者和一名日本演講者的30，000個句子的音頻樣本進(jìn)行訓(xùn)練。與此同時，音調(diào)轉(zhuǎn)換器模型則通過來自20，000多名不同演講者的300，000個音頻樣本進(jìn)行訓(xùn)練。

　　通過將用戶提供的錄音音頻的音調(diào)與TTS模型的“基礎(chǔ)發(fā)聲者”結(jié)合起來，這兩個模型共同可以復(fù)制用戶的語音，并改變其“音調(diào)顏色”或文本所表達(dá)的情感表達(dá)。與其他方法相比，OpenVoice的方法在克隆語音時大大減少了計算資源的使用，包括Meta的競爭對手Voicebox。

　　MyShell，作為OpenVoice的推動者，成立于2023年，總部位于加拿大艾伯塔省的卡爾加里，通過由INCE Capital主導(dǎo)的560萬美元種子輪融資以及Folius Ventures、Hashkey Capital、SevenX Ventures、TSVC和OP Crypto的額外投資，已經(jīng)吸引了超過400，000名用戶。該初創(chuàng)公司通過其Web應(yīng)用提供各種基于文本的AI角色和機(jī)器人，包括一些帶有不同“個性”的角色，還提供動態(tài)GIF制作工具和用戶生成的基于文本的角色扮演游戲。

　　盡管MyShell將OpenVoice開源，但該公司仍通過其Web應(yīng)用的月度訂閱、希望在應(yīng)用程序內(nèi)推廣其產(chǎn)品的第三方機(jī)器人創(chuàng)建者費用以及人工智能培訓(xùn)數(shù)據(jù)費用等多方面賺取收入。這種商業(yè)模式旨在為MyShell提供可持續(xù)的經(jīng)濟(jì)基礎(chǔ)，從而在開源和商業(yè)利益之間找到平衡。