Soul App語(yǔ)音生成大模型上線，支持?jǐn)M真人、多語(yǔ)言實(shí)時(shí)對(duì)話互動(dòng)

　　和喜歡的虛擬人實(shí)時(shí)通話是一種什么樣的體驗(yàn)?

　　近日，社交平臺(tái)Soul App(以下簡(jiǎn)稱“Soul”)語(yǔ)音生成大模型上線，同時(shí)自研語(yǔ)音大模型“伶?zhèn)?rdquo;正式升級(jí)，現(xiàn)階段，Soul語(yǔ)音大模型“伶?zhèn)?rdquo;包括了語(yǔ)音生成大模型、語(yǔ)音識(shí)別大模型、語(yǔ)音對(duì)話大模型、音樂(lè)生成大模型等，可支持真實(shí)音色生成、語(yǔ)音DIY、多語(yǔ)言切換、多情感擬真人實(shí)時(shí)對(duì)話等能力。目前，“伶?zhèn)?rdquo;已應(yīng)用于Soul “AI茍蛋”、站內(nèi)狼人游戲“狼人魅影”AI語(yǔ)音實(shí)時(shí)互動(dòng)、獨(dú)立新產(chǎn)品“異世界回響”等場(chǎng)景。

　　Soul上線于2016年，依托技術(shù)和產(chǎn)品模式創(chuàng)新，平臺(tái)持續(xù)推出受用戶歡迎的社交玩法和多元社交場(chǎng)景，例如，多對(duì)多語(yǔ)音實(shí)時(shí)互動(dòng)場(chǎng)景“群聊派對(duì)”、一對(duì)一互動(dòng)場(chǎng)景“語(yǔ)音匹配”等，幫助用戶基于興趣相遇同好，提升關(guān)系發(fā)現(xiàn)的質(zhì)量和效率，沉淀深度社交網(wǎng)絡(luò)。

　　一直以來(lái)，聲音都是傳遞信息和情感的重要媒介，也最能在溝通中賦予“情緒溫度”和“陪伴感”。在Soul，用戶積極通過(guò)語(yǔ)音實(shí)時(shí)互動(dòng)，表達(dá)自我、分享交流，收獲新關(guān)系，“語(yǔ)音社交”也成為平臺(tái)頗具代表性的標(biāo)簽之一。

　　與此同時(shí)，作為率先將AI引入社交關(guān)系的平臺(tái)，Soul不斷思考如何將AI應(yīng)用于社交具體場(chǎng)景，進(jìn)一步實(shí)現(xiàn)交互效率、交互質(zhì)量、交互體驗(yàn)、交互對(duì)象等多方面的提升和拓展。2020年，Soul系統(tǒng)啟動(dòng)AIGC的技術(shù)研發(fā)工作，并在智能對(duì)話、圖像生成、語(yǔ)音技術(shù)、虛擬人等方面擁有前沿的技術(shù)積累。

　　其中，在語(yǔ)音探索方面，Soul基于平臺(tái)沉淀豐富且多風(fēng)格的高質(zhì)量公域語(yǔ)音數(shù)據(jù)，推出自研語(yǔ)音大模型“伶?zhèn)?rdquo;，在深度融入站內(nèi)“AI茍蛋”等場(chǎng)景提供多模態(tài)互動(dòng)體驗(yàn)外，還推出了系列趣味社交玩法和活動(dòng)。

　　如Soul于2023年上線了“Soul次元歌手”活動(dòng)，幫助每個(gè)人打造自己的AI歌手分身，讓很多熱愛音樂(lè)但不一定會(huì)唱歌的人，也能實(shí)現(xiàn)“唱歌自由”;“懶人KTV”活動(dòng)則在音色克隆的基礎(chǔ)上，創(chuàng)新性實(shí)現(xiàn)多人UGC“AI合唱”。基于音樂(lè)模型個(gè)性化的創(chuàng)作能力，平臺(tái)的“AI幫你出靈魂專輯“活動(dòng)，使用戶自由輸入任意作曲的主題關(guān)鍵詞，即可一鍵完成詞曲創(chuàng)作。

　　此次，新升級(jí)的“伶?zhèn)?rdquo;在訓(xùn)練數(shù)據(jù)規(guī)模和模型架構(gòu)上均實(shí)現(xiàn)了拓展和創(chuàng)新，實(shí)現(xiàn)了更真實(shí)自然、更多樣性和更細(xì)顆粒度的控制效果以及流式超低延遲的生成。特別是上線的語(yǔ)音生成大模型在多風(fēng)格多情感可控、超自然人聲生成、多語(yǔ)言切換等方面表現(xiàn)出色。

　　具體來(lái)說(shuō)，在多情感可控上，“伶?zhèn)?rdquo;能夠?qū)崿F(xiàn)對(duì)情緒的深度理解和模擬，在語(yǔ)音生成和對(duì)話中表現(xiàn)出不同情感;在聲音顆粒度上，支持包括吸氣、喘氣、笑聲、結(jié)巴/重復(fù)、咳嗽 、嘆氣、哭聲等一系列副語(yǔ)言語(yǔ)音合成，聲音效果更真實(shí)生動(dòng)。

　　值得一提的是，基于新升級(jí)的“伶?zhèn)?rdquo;，Soul站內(nèi)應(yīng)用場(chǎng)景中多模態(tài)互動(dòng)體驗(yàn)顯著提升，例如狼人游戲“狼人魅影”中AI可實(shí)現(xiàn)實(shí)時(shí)發(fā)言，流暢完成刀人、悍跳等玩法交互。

　　此外，獨(dú)立新產(chǎn)品“異世界回響”，提供多種場(chǎng)景、風(fēng)格的虛擬人角色，每個(gè)虛擬角色具備形象、聲音、人設(shè)對(duì)話能力，用戶可與虛擬角色進(jìn)行沉浸式即時(shí)交流。新上線的“語(yǔ)音通話”功能，在“伶?zhèn)?rdquo;支持下，能夠讓用戶體驗(yàn)與虛擬人實(shí)時(shí)語(yǔ)音通話效果，延遲時(shí)間少于行業(yè)平均水平，更快響應(yīng)用戶互動(dòng)需求，提供即時(shí)的AI交流和陪伴。

　　根據(jù)Soul發(fā)布的《2024 Z世代AIGC態(tài)度報(bào)告》，三分之一的年輕人表示愿意和AI成為朋友，人機(jī)互動(dòng)已然成為年輕人中的社交新趨勢(shì)。大模型應(yīng)用深入人機(jī)互動(dòng)場(chǎng)景，發(fā)力語(yǔ)音、視覺(jué)等多維度，無(wú)疑將進(jìn)一步提升用戶社交體驗(yàn)。

　　當(dāng)下，大模型競(jìng)賽的焦點(diǎn)正從模型參數(shù)延伸至具體應(yīng)用場(chǎng)景。Soul App CTO陶明在接受媒體采訪時(shí)表示，“新一輪AI發(fā)展中，關(guān)注場(chǎng)景和交互體驗(yàn)將會(huì)是必然的趨勢(shì)。”

　　基于對(duì)社交場(chǎng)景的深刻理解，Soul將圍繞用戶的實(shí)際使用場(chǎng)景和核心社交需求，不斷提升技術(shù)能力，從AI推薦關(guān)系到AI輔助對(duì)話，從降低表達(dá)門檻到提升互動(dòng)體驗(yàn)，推進(jìn)AIGC技術(shù)與社交場(chǎng)景的深度融合，實(shí)現(xiàn)AI原生社交場(chǎng)景創(chuàng)新。