訊飛版「Her」橫空出世全民開放！百變?nèi)嗽O(shè)逼真絲滑，情緒價(jià)值逆天

　　OpenAI的「Her」還是期貨，訊飛星火版「Her」就搶先上線了!不僅極速響應(yīng)自由打斷，還情緒價(jià)值拉滿，各種情感、風(fēng)格、方言隨意切換。熊二被召喚出來的時(shí)候，家里的熊孩子直接被硬控了30秒。

　　就在昨天，人類與機(jī)器的對(duì)話方式，全面升級(jí)了!

　　我們?cè)谑褂靡环�之后，可謂是大開眼界。

　　比如，讓它用天津話講段相聲。

　　您別說，這味兒可太對(duì)了!

　　敲黑板:作為國(guó)內(nèi)首個(gè)「極速超擬人交互」，這款訊飛星火版的「Her」，已經(jīng)全民開放體驗(yàn)了!

　　只要下載訊飛星火APP，即可體驗(yàn)對(duì)標(biāo)GPT-4o的超自然AI語音助手。

　　目錄中

　　星火對(duì)話中

　　實(shí)測(cè)驚艷

　　要知道，傳統(tǒng)的語音交互，一直面臨著三大挑戰(zhàn):準(zhǔn)確理解說話人意圖;生成恰當(dāng)響應(yīng);高效通過聲音傳達(dá)信息。

　　以往的語音交互，一直無法擺脫滿滿的智障味兒，就是因?yàn)檫@些環(huán)節(jié)中的延遲，大大拉低了用戶體驗(yàn)。

　　而這一次，人機(jī)之間的交互，將如真人般自然流暢。

　　那么問題來了，所謂的「超擬人」到底有多擬人?

　　直觀感受是:我們也有自己的「GPT-4o」了!極速響應(yīng)，自由打斷

　　此前，我們見到的語音AI，總是給人感覺不太聰明的樣子。

　　如果忽然打斷它，它就瞬間蒙圈了，要么接不上來，要么就開始「已讀亂回」。

　　但這次的小星，模型響應(yīng)的快速和流暢度讓人眼前一亮。

　　即使隨時(shí)打斷、插話，小星依舊能做到秒回，這個(gè)快速反應(yīng)能力，讓我們的觀感仿佛真人一般。

　　比如，我們拿前段時(shí)間的全球大熱點(diǎn)——巴黎奧運(yùn)會(huì)考一考小星:「中國(guó)隊(duì)在巴黎奧運(yùn)會(huì)上獎(jiǎng)牌總數(shù)排行第幾?」

　　小星瞬間回復(fù)，而且在搜索過程中還使用了「讓我來數(shù)一數(shù)」這種流暢的過渡方式，讓交互過程更加自然。

　　可能是搜索結(jié)果太過全面，小星不僅把金銀銅牌的總數(shù)都說了出來，還開始總結(jié)中國(guó)隊(duì)的優(yōu)勢(shì)項(xiàng)目。

　　巴黎奧運(yùn)會(huì)，新智元，38秒

　　可以感覺到，整個(gè)語音交流的過程中非常順暢，非常自然，即使隨時(shí)打斷它，它都能立刻給出正確的反應(yīng)，而不是跟一個(gè)「人工智障」在對(duì)話，這個(gè)感覺真是太~爽~了~

　　不僅如此，小星「緊跟熱點(diǎn)」的能力也是相當(dāng)令人滿意。

　　十一調(diào)休安排過于混亂?只要問一句，它就能給你解釋得明明白白——

　　放假，新智元，20秒

　　之所以模型的響應(yīng)如此之快，如此之流暢，是因?yàn)樗�采用的是統(tǒng)一神經(jīng)網(wǎng)絡(luò)，直接實(shí)現(xiàn)了語音到語音的端到端建模。 情緒價(jià)值拉滿，情商秒殺部分人類

　　第二個(gè)非常鮮明的特點(diǎn)是，小星對(duì)情緒的感知，實(shí)在是太敏銳了。

　　無論是高興、悲傷、生氣、害怕，我們?cè)捴械那榫w，它都能立刻識(shí)別出來，敏銳地和你的情緒產(chǎn)生共鳴。

　　然后，它會(huì)自動(dòng)把你代入符合情境的對(duì)話，然后用合適的情緒語氣，進(jìn)行貼心的回復(fù)。

　　可以說，簡(jiǎn)直秒殺了部分人類。

　　要上臺(tái)演講了，看著臺(tái)下的幾百個(gè)觀眾，緊張得手直抖，不用怕，小星來貼心地安慰你。

　　「我從未見過如此厚顏無恥之人」的網(wǎng)絡(luò)熱梗，它都知道，識(shí)別出這句話中的情緒，自然也是不在話下。

　　厚顏無恥，新智元，29秒

　　然后，我們還能讓它用開心/沮喪/搞怪的方式來描述一下今天的天氣。

　　你見過有帶著哭腔念出的「全天多云」嗎?

　　天氣，新智元，39秒

　　其實(shí)，從日常的交流中也可以感受到小星的豐富情緒。

　　比如沒有聽清問題時(shí)會(huì)不好意思地微笑，平時(shí)交流時(shí)始終情緒高漲、語氣上揚(yáng)，但察覺到你的消極情緒時(shí)，語氣又會(huì)變得十分關(guān)切柔和，情緒價(jià)值給得相當(dāng)?shù)轿弧?/p>

　　注意，它并不是簡(jiǎn)單地通過語音文本來進(jìn)行情緒的判斷，而是針對(duì)復(fù)雜場(chǎng)景下的語音識(shí)別效果做了提升，因而能夠感知數(shù)十種情緒。 表達(dá)方式隨心控，情感、風(fēng)格、方言都不在話下

　　在交流中，小星可以跟隨你的指令，控制數(shù)十種情感、風(fēng)格、方言，還可以變換語速。

　　比如，讓它開心地給我們講一段睡前故事。

　　好聽，但是還能更夸張一點(diǎn)嗎?完全可以!

　　而且，這個(gè)小狐貍和月亮的故事，充滿詩意和淡淡的傷感，還懸念十足，聽到最后我們都為小狐貍的堅(jiān)持而感動(dòng)。

　　誒，暑假哄娃神器，這不就來了嘛。

　　我們還能讓它用主持人的口氣，給咱們讀一篇文章。不得不說，小星的朗誦十分有感染力，值得鼓掌!

　　如果你厭倦了同一種語調(diào)，還可以讓小星大展身手——扮演東北大哥給你來段相聲。

　　聽完之后，沒忍住吐槽了一句:就這?

　　您猜怎么著，小星竟然絲滑地接過了話茬。這體驗(yàn)也太類人了，仿佛手機(jī)里真住了個(gè)大哥。

　　小星說起天津話來，也是妥妥的喜劇人一枚，那是相當(dāng)干哏倔脆、調(diào)皮搗蛋。

　　跟悟空聊西游，百變?nèi)嗽O(shè)任意切換

　　小星的超擬人交互，還擁有百變?nèi)嗽O(shè)，一不小心就被挖掘出「戲精」的一面。

　　孫悟空、蠟筆小新、小豬佩奇……多種角色的音色、語氣，它都模仿得惟妙惟肖，甚至還能模仿他們的人設(shè)和你聊天。

　　只需要一句簡(jiǎn)單的指令:「扮演XX和我對(duì)話」，就能隨時(shí)和它來一場(chǎng)「語音cosplay」了。

　　只要幾句話，我們就召喚出孫悟空了。

　　那就讓我們問一下，取經(jīng)過程中最難忘的一件事?

　　看來，白骨精著實(shí)給了他不小的陰影。

　　下一秒，小星就林妹妹上身，「三分柔弱兩分溫柔四分譏誚一分氣惱」的feel，拿捏得是十分到位。

　　被問到「在大觀園中最喜歡和誰一起玩」時(shí)，黛玉的回答是薛寶釵和史湘云。

　　聽，小星模仿起熊二的聲音和語氣簡(jiǎn)直是惟妙惟肖，瞬間從陽光開朗大男孩變成了一只愛吃蜂蜜的傻萌棕熊，回答問題時(shí)也全程在人設(shè)內(nèi)，完全不會(huì)OOC。

　　另外，我們還發(fā)現(xiàn)，小星回答問題的知識(shí)水平也令人刮目相看。難怪許多人沉迷和AI「談戀愛」，有「智性戀」那味兒了。

　　無聊時(shí)，可以喚醒它來和你玩兒一段成語接龍解悶——

　　讓它解釋物理學(xué)概念「胡克定律」和「能量守恒定律」，小星依舊能做到「秒回」。

　　而且絕不僅是機(jī)械地背概念，而是結(jié)合彈簧、陀螺這種生活中的例子向你繪聲繪色地解釋，還會(huì)生動(dòng)地把能量守恒定律比作「大自然的記賬本」。

　　端到端新模型，讓交互快如閃電

　　相較以往的語音交互，此次的訊飛星火極速超擬人交互，有何不同?

　　傳統(tǒng)語音交互系統(tǒng)，若要實(shí)現(xiàn)和人的對(duì)話，一般需要通過語音識(shí)別——自然語言理解——自然語言生成，這三步來實(shí)現(xiàn)。具體來說:

　　第一步，需要通過語音系統(tǒng)，將語音轉(zhuǎn)換為文字;

　　第二步，利用大模型生成回復(fù)的文本;

　　第三步，再用語音合成系統(tǒng)，轉(zhuǎn)換成語音。

　　此前，英偉達(dá)高級(jí)科學(xué)家Jim Fan曾表示，這也是讓Siri/Alexa交互能力，提升10倍速的秘訣。

　　他利用當(dāng)前先進(jìn)的AI語音系統(tǒng)Whisper、大模型ChatGPT、以及語音合成技術(shù)VALL-E，重述了這一過程。

　　不過，這一過程需要三個(gè)獨(dú)立管道串聯(lián)才可實(shí)現(xiàn)，因此會(huì)帶來響應(yīng)延遲，至少需要3秒左右。

　　另一方面，語音轉(zhuǎn)文字再轉(zhuǎn)語音的過程中，我們語音中的情感、副語言信息，甚至是環(huán)境信息都會(huì)丟失。

　　這樣一來，導(dǎo)致語音交互系統(tǒng)，只能針對(duì)轉(zhuǎn)換之后的文本信息進(jìn)行回應(yīng)，不能有效靈活地做出應(yīng)答。

　　由此，基于以上問題，科大訊飛提出了極速超擬人語音交互框架——一個(gè)端到端跨文本、音頻模型的新模型。

　　雖然模型內(nèi)部劃分了多個(gè)模塊，但仍是一個(gè)「統(tǒng)一模型」。

　　用戶語音通過音頻編碼器模塊，編碼成音頻表征，然后通過適配器，將其與文本的語義表征對(duì)齊。

　　再通過多模態(tài)大模型，去預(yù)測(cè)生成表征，最后通過音頻解碼器得到語音。

　　相較于傳統(tǒng)語音交互系統(tǒng)，端到端統(tǒng)一模型以知識(shí)對(duì)齊表征方式，讓信息在各個(gè)模塊之間傳遞。

　　這意味著，同一個(gè)神經(jīng)網(wǎng)絡(luò)直接實(shí)現(xiàn)語音-語音的建模，輸入和輸出皆由相同神經(jīng)網(wǎng)絡(luò)處理，大大縮短了對(duì)話響應(yīng)時(shí)間。

　　同時(shí)，音頻中的情感、環(huán)境中信息，它都可以沒有損失地進(jìn)行傳遞。

　　從上面實(shí)測(cè)例子能夠深刻感知，人類和AI互動(dòng)終于從你一句、我一句的「聊天軟件模式」，切換到對(duì)答如流的「日常交流模式」。

　　不僅如此，整個(gè)系統(tǒng)的信息實(shí)現(xiàn)了無損貫穿，讓交互更加擬人化、豐富流暢。 核心:語音屬性解耦表征

　　若說極速超擬人語音交互最大的不同，就是訊飛開發(fā)了一種特殊的語音訓(xùn)練方法——多維度語音屬性解耦表征訓(xùn)練。

　　它能夠?qū)⒄Z音的不同屬性分開處理，比如語種、內(nèi)容、韻律、音色。

　　要知道，語音中的所有屬性都是耦合在一起的，比如你說話的情緒和吐出的內(nèi)容，是密不可分的。

　　那么，如何將這些表征分開，如何確保它在下游任務(wù)中充分利用，對(duì)解耦能力提出了更高的要求。

　　對(duì)此，訊飛團(tuán)隊(duì)做了很多對(duì)比loss學(xué)習(xí)，以及研發(fā)預(yù)測(cè)自監(jiān)督學(xué)習(xí)等一些方案。

　　不過需要提一句，這里并非說，必須把所有表征信息徹底分開。這就需要把握一個(gè)度，在TTS中就可以控制的更好。

　　這種方法，能夠讓不同語音樣本之間，實(shí)現(xiàn)更好的學(xué)習(xí)效果。

　　另外，它還能更靈活地控制內(nèi)容、音色、情感等元素，滿足不同場(chǎng)景和需求。甚至，通過更便捷的相關(guān)定制，可加速落地過程。

　　雖然OpenAI版Her還未全面開放，但訊飛版Her已經(jīng)完全開放使用了。

　　20億終端或被顛覆

　　語音交互是人機(jī)交互的一個(gè)子集，也是萬物互聯(lián)最自然的一個(gè)交互方式。

　　從歷史上看，人機(jī)語音交互經(jīng)歷了幾個(gè)重要的發(fā)展階段。

　　第一個(gè)里程碑便是，以Siri語音助手為代表云端語音助手的出現(xiàn)，標(biāo)志著語義交互技術(shù)的一大突破。

　　這是基于語音單點(diǎn)技術(shù)的進(jìn)步，通過將這些技術(shù)巧妙地結(jié)合，語音助手能夠?qū)Ｗ⒂趫?zhí)行基本的指令控制功能。

　　比如，設(shè)置鬧鐘、查詢天氣、播放音樂等等。

　　第二階段是以「智能音箱」為代表的產(chǎn)品，得益于麥克風(fēng)陣列處理技術(shù)改進(jìn)，以及遠(yuǎn)場(chǎng)語音識(shí)別能力的提升，使得設(shè)備交互可以在很遠(yuǎn)的距離進(jìn)行，比如家庭環(huán)境。

　　到了第三階段，便是以智能汽車語音助手為代表的交互，多音區(qū)技術(shù)、云端意圖識(shí)別等技術(shù)發(fā)展，實(shí)現(xiàn)了多人復(fù)雜指令控制。

　　最后一階段，就是以ChatGPT發(fā)布為起點(diǎn)，開創(chuàng)的全新語音對(duì)話的新范式。

　　這一次，訊飛語音交互系統(tǒng)的升級(jí)，帶來的更快響應(yīng)、更懂情緒、更加靈活、更加百變的優(yōu)勢(shì)，足以重寫整個(gè)語音交互市場(chǎng)。

　　2023全球數(shù)字經(jīng)濟(jì)大會(huì)上，來自工信部數(shù)據(jù)顯示，截止去年5月，我國(guó)移動(dòng)物聯(lián)網(wǎng)終端用戶超過20.5億。

　　而從產(chǎn)業(yè)發(fā)展來看，智能語音正迎來應(yīng)用突破、產(chǎn)業(yè)擴(kuò)展的黃金期。

　　據(jù)IDC分析，預(yù)計(jì)到2030年，全球智能語音服務(wù)市場(chǎng)規(guī)模將達(dá)約731.6億美元，復(fù)合增長(zhǎng)率27%。

　　國(guó)內(nèi)外科技公司看準(zhǔn)這片藍(lán)海，紛紛入局開發(fā)，掀起了新一輪人機(jī)交互革命。

　　不光GPT-4o的語音功能還在內(nèi)測(cè);谷歌宣發(fā)的Gemini Live，也僅面向高級(jí)訂閱用戶使用。

　　反觀國(guó)內(nèi)，鮮有大廠能夠站出，以匹敵OpenAI版Her產(chǎn)品的姿態(tài)，與之進(jìn)行正面競(jìng)爭(zhēng)。

　　憑借語音起家的科大訊飛，是其中最強(qiáng)悍的挑戰(zhàn)者之一。

　　這是因?yàn)�，訊飛星火大模型在不斷迭代過程中，逼近國(guó)際領(lǐng)先水平。

　　今年1月，訊飛星火V3.5發(fā)布，歷經(jīng)5個(gè)月的時(shí)間，再次迭代至V4.0版本，整體能力超越OpenAI的GPT-4Turbo。

　　同在1月，訊飛還首發(fā)了語音大模型，實(shí)現(xiàn)首批37個(gè)主流語種語音識(shí)別效果超過OpenAI Whisper V3。

　　基于訊飛全球領(lǐng)先的多語種語音技術(shù)，語音大模型隨后再度升級(jí)，支持74種語言方言免切換輸入。

　　時(shí)隔1個(gè)月，訊飛在極速超擬人交互上取得的技術(shù)突破，足夠讓終端設(shè)備實(shí)現(xiàn)「無感迭代」。

　　設(shè)想一下，當(dāng)你有了這樣的設(shè)備，不僅手握百科全書，還擁有了一個(gè)得力的助手、最親密的伙伴/朋友。 未來三大計(jì)劃，讓AI交互走進(jìn)更多場(chǎng)景

　　科大訊飛表示，基于全新端到端框架，未來新系統(tǒng)還會(huì)朝著三大方向去拓展:更多模態(tài)、更多語言、更好體驗(yàn)，帶來更實(shí)用、更豐富的功能。

　　這也代表著國(guó)產(chǎn)大模型如今早已從追趕、對(duì)標(biāo)，快進(jìn)到了自主創(chuàng)新的差異化之路。

　　不僅如此，訊飛還要雙管齊下，加速極速超擬人交互落地，便是下一個(gè)需要瞄準(zhǔn)的方向。

　　一項(xiàng)技術(shù)只有落地了，才能彰顯它的價(jià)值。

　　未來，訊飛可能會(huì)布局情感陪伴場(chǎng)景，將極速超擬人交互集成到兒童機(jī)器人中，又或是賦予在線IP能夠感知用戶情緒的能力。

　　另外，便是在智慧汽車、智慧家電等方面大規(guī)模開拓應(yīng)用。

　　這一技術(shù)的應(yīng)用和普及，還隱藏著巨大的可能性——語音市場(chǎng)在這個(gè)時(shí)代將被改寫，語音交互帶動(dòng)萬物互聯(lián)的第六次產(chǎn)業(yè)浪潮，有望出現(xiàn)一次井噴。

　　智能語音技術(shù)，將進(jìn)一步應(yīng)用到智能手機(jī)、智能汽車、智能家電以及智能家居等產(chǎn)品中。

　　據(jù)IDC分析，到2030年，全球智能語音服務(wù)市場(chǎng)規(guī)模將達(dá)約731.6億美元，復(fù)合增長(zhǎng)率27%�？拼笥嶏w，有望收獲這一輪產(chǎn)業(yè)紅利。

　　中國(guó)AI語音的ChatGPT時(shí)刻，指日可待。