云從科技語音技術(shù)刷新多項(xiàng)世界紀(jì)錄

　　讓AI聽得出、聽得清，聽得懂，成為每個(gè)人的真正“知音”，是云從人機(jī)協(xié)同戰(zhàn)略讓機(jī)器從知音到知心邁出的重要一步。

　　近日，云從科技語音技術(shù)取得多項(xiàng)重大突破，在語音識(shí)別、語義糾錯(cuò)、深度學(xué)習(xí)降噪等領(lǐng)域刷新多項(xiàng)國際、國內(nèi)語音識(shí)別權(quán)威紀(jì)錄，超越亞馬遜、搜狗等企業(yè)創(chuàng)下的此前最好成績，夯實(shí)業(yè)界領(lǐng)先的技術(shù)地位。

　　此次云從創(chuàng)新提出的新模型，對(duì)應(yīng)語音技術(shù)不同角度的突破，包含巨大的應(yīng)用價(jià)值，推動(dòng)技術(shù)朝更智能地“聽”邁進(jìn)了一大步：

　　語義糾錯(cuò)技術(shù)：在權(quán)威中文語音識(shí)別數(shù)據(jù)集Aishell和清華大學(xué)語音Thchs30測試集上，將字錯(cuò)率(Character Error Rate，CER)第一遍WFST解碼以及第二遍RNN重打分結(jié)果分別相對(duì)降低21.7%和10.3%。

　　這意味著讓AI“聽得懂”：字錯(cuò)率降低代表使語音更準(zhǔn)確地轉(zhuǎn)換文字，糾正語義的錯(cuò)誤。

　　語音識(shí)別技術(shù)：刷新Aishell紀(jì)錄，將字錯(cuò)率降低到4.34%，較過去最好成績降低了8%;云從團(tuán)隊(duì)提出的新模型，巧妙融合了語音識(shí)別和說話人識(shí)別，提高識(shí)別率的同時(shí)，極大提升了在不同說話人場景下的魯棒性。

　　這意味著讓AI“聽得出”：將每個(gè)人同“指紋”一樣獨(dú)有的“聲紋”識(shí)別出來，指標(biāo)提升意味著更精準(zhǔn)識(shí)別出說話者。

　　深度學(xué)習(xí)降噪模型：在國際頂會(huì)Interspeech2020 DNS Challenge比賽數(shù)據(jù)集上取得了目前最好的結(jié)果。

　　這意味著讓AI“聽得清”：針對(duì)在嘈雜環(huán)境去除噪聲，使語音更清晰。

　　在語音技術(shù)高度發(fā)展的基礎(chǔ)上，每提升1個(gè)百分點(diǎn)的準(zhǔn)確率，都如同征服一座高山。此次云從一舉在三項(xiàng)語音技術(shù)上取得新突破、新模型，不僅展現(xiàn)出深厚的科研基礎(chǔ)與強(qiáng)大創(chuàng)新能力，同時(shí)也彰顯出云從技術(shù)實(shí)力的全面性與綜合性。近年來語音技術(shù)已經(jīng)廣泛應(yīng)用于人們的生活，但大多是依托智能語音設(shè)備在室內(nèi)安靜環(huán)境下的單人交互，云從團(tuán)隊(duì)提出的多個(gè)創(chuàng)新模型，對(duì)于突破業(yè)界瓶頸，攻克嘈雜環(huán)境、多人對(duì)話等復(fù)雜應(yīng)用難題，具有重大意義。

　　在人工智能第二浪背景下，全鏈技術(shù)形成行業(yè)價(jià)值閉環(huán)、AI工程學(xué)的重要性日益突顯。云從科技在視覺、語音等技術(shù)頻頻突破，再次夯實(shí)核心技術(shù)閉環(huán)實(shí)力，為行業(yè)打造更全面、更有價(jià)值的智能化方案，為每個(gè)人構(gòu)筑更流程靈活的交互體驗(yàn)。

　　創(chuàng)新研究模型 直擊技術(shù)難點(diǎn)

　　此前云從的語音技術(shù)已取得刷新全球最大開源語音識(shí)別數(shù)據(jù)集Librispeech紀(jì)錄、發(fā)表多篇頂會(huì)論文、發(fā)表多篇新型發(fā)明專利等成績。盡管近年來整個(gè)人工智能語音領(lǐng)域有了快速發(fā)展，但目前常見語音交互場景多是在安靜環(huán)境下的單人交互，在日常應(yīng)用仍有諸多問題亟待突破：例如在多人場景的語音、噪聲混合中，如何追蹤并識(shí)別至少一個(gè)聲音、正常在嘈雜環(huán)境下正常交流，也就是“雞尾酒會(huì)問題”，仍是研究者們致力解決的難題。

　　針對(duì)這些技術(shù)難點(diǎn)，云從在語音識(shí)別、語義糾錯(cuò)、深度學(xué)習(xí)降噪等多個(gè)方向上，創(chuàng)新性提出新模型，并在多個(gè)數(shù)據(jù)集上刷新最優(yōu)成績。

　　語義糾錯(cuò)：

　　針對(duì)常見的語法糾錯(cuò)、拼寫糾錯(cuò)與語音識(shí)別系統(tǒng)轉(zhuǎn)寫的錯(cuò)誤分布差異較大、傳統(tǒng)模型不適合直接使用等問題，云從科技提出一種基于BART預(yù)訓(xùn)練模型的語義糾錯(cuò)技術(shù)方案，不僅可以對(duì)數(shù)據(jù)中常見的拼寫錯(cuò)誤進(jìn)行糾正，還可以對(duì)一些常識(shí)錯(cuò)誤、語法錯(cuò)誤，甚至一些需要推理的錯(cuò)誤進(jìn)行糾正。

　　在云從科研團(tuán)隊(duì)一萬小時(shí)語音數(shù)據(jù)的實(shí)驗(yàn)中，糾錯(cuò)模型可以將基于3gram WFST解碼結(jié)果的錯(cuò)字率相對(duì)降低21.7%，取得與RNN重打分相近的效果。在RNN重打分的基礎(chǔ)上使用糾錯(cuò)，可以進(jìn)一步取得10.3%的CER相對(duì)降低。

　　部分糾錯(cuò)示例如下：

　　語音識(shí)別：

　　云從科研團(tuán)隊(duì)結(jié)合聲紋識(shí)別x-vector embedding以及自研multi-stream TDNNF結(jié)構(gòu)的XmasNet，刷新Aishell的紀(jì)錄，在測試集Aishell-test上CER指標(biāo)提高到4.34%，相比于SOTA，提升了8%。這種方法結(jié)合了最新的說話人識(shí)別技術(shù)，進(jìn)一步提高了語音識(shí)別在口音環(huán)境下的識(shí)別率。

　　值得一提的是，本次云從團(tuán)隊(duì)提出新模型結(jié)構(gòu)，在訓(xùn)練數(shù)據(jù)固定(原始178小時(shí)音頻)的情況下，僅通過優(yōu)化模型結(jié)構(gòu)，取得識(shí)別率的提升。

　　該結(jié)構(gòu)巧妙融合了語音識(shí)別和說話人識(shí)別，提高識(shí)別率的同時(shí)，極大提升了在不同說話人場景下的魯棒性。

　　x-vector embedding(上)以及XmasNet網(wǎng)絡(luò)結(jié)構(gòu)(下)

　　深度學(xué)習(xí)降噪：

　　云從科研團(tuán)隊(duì)提出一種基于U-Net和注意力機(jī)制attention的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型CARN模型，在DNS Challenge比賽數(shù)據(jù)集上取得了目前最好的結(jié)果。

　　該數(shù)據(jù)集中，亞馬遜PoCoNet模型、西北工業(yè)大學(xué)和搜狗合作的DCCRN模型等在具有混響的仿真場景和真實(shí)場景下，只能得到中等品質(zhì)的音頻;相比之下，云從CARN模型在各類場景下均有優(yōu)秀表現(xiàn)，無論是沒有混響的仿真場景(no_reverb)、還是具有混響的仿真場景和真實(shí)場景下，都能大幅減少音頻中的噪音，處理取得清晰的優(yōu)質(zhì)音頻，提升音頻的清晰度。

　　堅(jiān)持以人為核心 共創(chuàng)人機(jī)協(xié)同智能體驗(yàn)

　　在人工智能行業(yè)，取得單點(diǎn)技術(shù)的領(lǐng)先實(shí)屬不易，但從人工智能產(chǎn)業(yè)發(fā)展角度來看，經(jīng)歷了對(duì)計(jì)算機(jī)視覺、語音識(shí)別等單點(diǎn)技術(shù)的狂熱追捧，客戶逐漸發(fā)現(xiàn)自身的復(fù)雜需求難以得到快速響應(yīng)。

　　這個(gè)時(shí)候產(chǎn)業(yè)開始需要多點(diǎn)技術(shù)的支持：客戶轉(zhuǎn)向?qū)で螳@取人工智能綜合解決方案，以實(shí)現(xiàn)對(duì)全業(yè)務(wù)鏈條的 AI 賦能，形成行業(yè)價(jià)值閉環(huán)。

　　云從科技將人工智能技術(shù)整合為端到端的綜合解決方案，在了解客戶業(yè)務(wù)流程的基礎(chǔ)上，將算法平臺(tái)、AIoT設(shè)備和專家知識(shí)服務(wù)整合為場景化解決方案，定義和打造客戶智慧化藍(lán)圖。

　　同時(shí)，云從科技創(chuàng)新性提出了AI工程學(xué)的概念，首先提升人工智能技術(shù)自身的生產(chǎn)效率，實(shí)現(xiàn)算法模型的批量化產(chǎn)出，將AI產(chǎn)業(yè)帶入工業(yè)化大生產(chǎn)時(shí)代。

　　在此階段，云從科技提供綜合了聽說讀寫等感知能力的全鏈人工智能技術(shù)，基于多項(xiàng)技術(shù)構(gòu)建全面解決方案。例如，云從的智慧網(wǎng)點(diǎn)解決方案，綜合視覺、語音、自然語言處理等多項(xiàng)技術(shù)，應(yīng)用于智慧迎賓、用戶身份核驗(yàn)、AI雙錄等多個(gè)場景。目前云從已攜手多家銀行落地方案，共同為用戶帶來流暢、完整的智能體驗(yàn)。