Google 新推出的這款 app 是專(zhuān)門(mén)給聽(tīng)力障礙群體用的

　　“全球約有 4.66 億耳聾和聽(tīng)力障礙患者，這是非常巨大的一個(gè)數(shù)目，如果把這個(gè)數(shù)字當(dāng)成是一個(gè)國(guó)家的人口的話(huà)，這個(gè) ‘ 國(guó)家 ’ 就是世界人口第三大國(guó)了。”

　　遠(yuǎn)在美國(guó)的 Google AI Research Group 高級(jí)產(chǎn)品經(jīng)理 Sagar Savla，通過(guò)遠(yuǎn)程視頻參與了一次在中國(guó)舉行的采訪會(huì)議。采訪中，他展示了上述讓人意想不到的統(tǒng)計(jì)數(shù)字。

　　借助技術(shù)的力量，普通人得到了能力增強(qiáng)，能完成過(guò)去做不到的事情，比如 Sagar 可以借助實(shí)時(shí)視頻串流跨洋交流。在科技公司做產(chǎn)品的 Sagar，想讓聽(tīng)力障礙群體也能受惠于技術(shù)進(jìn)步。

　　Google AI Research Group 高級(jí)產(chǎn)品經(jīng)理 Sagar Savla

　　Live Transcribe 是什么?

　　Sagar 和他的團(tuán)隊(duì)已經(jīng)邁出了第一步 ——Live Transcribe。Live Transcribe 是一個(gè) Android 端的 App，能將自動(dòng)生成字幕功能引入日常對(duì)話(huà)，幫助聽(tīng)力障礙人群融入即時(shí)口頭交流。這款 App 已于 2019 年 2 月底發(fā)布，目前支持 70 多種語(yǔ)言并覆蓋全球 80% 以上的人群。

　　如上所述，全球有 4.66 億耳聾和聽(tīng)力障礙患者。過(guò)去，他們想要參與即興對(duì)話(huà)和社交場(chǎng)合，得提前預(yù)訂昂貴的手動(dòng)轉(zhuǎn)錄服務(wù)，成本頗高，Live Transcribe 用技術(shù)來(lái)解決了這個(gè)問(wèn)題。

　　Live Transcribe 基于 Google 過(guò)去幾十年的自動(dòng)語(yǔ)音識(shí)別(Automatic Speech Recognition，以下簡(jiǎn)稱(chēng) ASR )技術(shù)積累，能把人類(lèi)的語(yǔ)音信號(hào)轉(zhuǎn)變?yōu)橄鄳?yīng)文本。YouTube 上的自動(dòng)字幕生成，就是應(yīng)用 ASR 技術(shù)的結(jié)果。

　　(安靜環(huán)境下 Live Transcribe 實(shí)時(shí)字幕轉(zhuǎn)錄普通話(huà)測(cè)試)

　　2018 年，Sagar 利用 20% 的工作時(shí)間開(kāi)啟了 Live Transcribe 這個(gè)項(xiàng)目。“開(kāi)始不久我們立刻意識(shí)到，這其實(shí)是一個(gè)非常切實(shí)的項(xiàng)目。因?yàn)樵?Google 也有一些聾人員工，他們拿到這個(gè)產(chǎn)品后幾乎無(wú)時(shí)無(wú)刻不在使用。啟動(dòng)一個(gè)月后，我們就把這個(gè)項(xiàng)目固定下來(lái)了，建立了相應(yīng)的產(chǎn)品開(kāi)發(fā)團(tuán)隊(duì)。” Sagar 對(duì) PingWest 品玩回溯起項(xiàng)目的發(fā)展。

　　值得一提的是，美國(guó)國(guó)家級(jí)院士 Dmitri Krakovsky 也加入了 Live Transcribe 項(xiàng)目組，他天生就是聾人，已經(jīng)研究 ASR 30 多年。

　　Live Transcribe 是怎么運(yùn)行的?

　　過(guò)去，基于 ASR 的轉(zhuǎn)錄系統(tǒng)一般都需要計(jì)算密集型模型、詳盡的用戶(hù)研究以及昂貴的連接服務(wù)費(fèi)用。

　　為了降低用戶(hù)使用自動(dòng)連續(xù)轉(zhuǎn)錄服務(wù)的成本，Sagar 團(tuán)隊(duì)將 Live Transcribe 背后的神經(jīng)網(wǎng)絡(luò)模型分別部署在設(shè)備端和云端(Google Cloud)。

　　設(shè)備端的是卷積神經(jīng)網(wǎng)絡(luò)模型，主要做聲音分類(lèi)的工作，能辨別 570 個(gè)聲音類(lèi)別，比如嬰兒哭聲或玻璃破碎聲。

　　云端的神經(jīng)網(wǎng)絡(luò)模型規(guī)模大得多，主要做語(yǔ)音轉(zhuǎn)錄成文字的工作，由三個(gè)部分組成。

　　第一部分是聲學(xué)模型，能夠從音節(jié)的角度辨析說(shuō)話(huà)者所說(shuō)的是“ Hi ”還是“ Hello ”。

　　第二個(gè)部分是發(fā)音模型，可以根據(jù)識(shí)別出來(lái)的音節(jié)做拼接或組合，組成實(shí)際的單詞。第三部分是語(yǔ)言模型，根據(jù)識(shí)別出來(lái)的單詞添加適當(dāng)?shù)臉?biāo)點(diǎn)符號(hào)和停頓，以符合人類(lèi)語(yǔ)言使用習(xí)慣。

　　基于云端神經(jīng)網(wǎng)絡(luò)做語(yǔ)音轉(zhuǎn)錄的好處是，對(duì)設(shè)備性能要求沒(méi)這么高。Sagar 告訴 PingWest 品玩：“這意味著，Live Transcribe 在一些性能較弱的低端設(shè)備上也可以正常運(yùn)行。”

　　理想狀態(tài)下只要有互聯(lián)網(wǎng)接入，能使用 Google 服務(wù)，語(yǔ)音轉(zhuǎn)錄延遲都可以控制在 200 毫秒以?xún)?nèi)。Sagar 對(duì) PingWest 品玩表示：“在一些網(wǎng)絡(luò)接入速度沒(méi)這么快的第三世界國(guó)家，聽(tīng)覺(jué)障礙人群其實(shí)愿意花一點(diǎn)時(shí)間來(lái)獲得更加準(zhǔn)確識(shí)別的效果。因?yàn)槿绻麤](méi)有這款產(chǎn)品的話(huà)，他們是很難聽(tīng)見(jiàn)的。”

　　落地遇到的問(wèn)題

　　落到實(shí)際用戶(hù)使用場(chǎng)景，Sagar 團(tuán)隊(duì)要解決的問(wèn)題不止設(shè)備性能和網(wǎng)絡(luò)連接。

　　Sagar 團(tuán)隊(duì)與加拉德特大學(xué)共同發(fā)起了用戶(hù)體驗(yàn)研究，考慮了幾種不同的設(shè)備：計(jì)算機(jī)、平板電腦、智能手機(jī)、小型投影儀，甚至還有 VR/AR 眼鏡。“考慮到產(chǎn)品能夠具有普惠性，最終選擇了成本比較低廉，大家都用得起的一種設(shè)備 —— 智能手機(jī)”。

　　“第二個(gè)我們要解決的問(wèn)題是，實(shí)時(shí)顯示字幕的時(shí)候是否要顯示字幕轉(zhuǎn)錄的置信度(轉(zhuǎn)錄后文字的可信程度)。” Sagar 說(shuō)。

　　一開(kāi)始，他們?cè)鴩L試用顏色來(lái)代表轉(zhuǎn)錄文字置信度，黃色代表高置信度，綠色代表中等置信度，而藍(lán)色代表低置信度，白色單詞為新文本。

　　Sagar 團(tuán)隊(duì)最終放棄了顯示置信度：“經(jīng)過(guò)測(cè)試，我們發(fā)現(xiàn)這種方式會(huì)給用戶(hù)造成一個(gè)錯(cuò)覺(jué)，好像同一顏色的是一個(gè)詞組。”

　　第三個(gè)要解決的問(wèn)題是環(huán)境噪音，又稱(chēng)之為“雞尾酒會(huì)問(wèn)題”：在一個(gè)派對(duì)場(chǎng)景中，有很多人在交談，機(jī)器很難識(shí)別正確的談話(huà)對(duì)象。

　　“為解決此問(wèn)題，我們構(gòu)建了一個(gè)指示器，用于顯示相對(duì)于背景噪聲的用戶(hù)說(shuō)話(huà)音量。” Sagar 說(shuō)：“較亮的內(nèi)部同心圓代表噪聲層，代表當(dāng)前環(huán)境所處的噪聲級(jí)別。外部同心圓表示麥克風(fēng)對(duì)說(shuō)話(huà)人聲音的接收狀況。用戶(hù)可借此收到即時(shí)反饋，了解麥克風(fēng)的接收狀況，以便其調(diào)整手機(jī)位置。”

　　將來(lái)，Sagar 團(tuán)隊(duì)會(huì)繼續(xù)改善“雞尾酒會(huì)問(wèn)題”的解決方案，讓對(duì)話(huà)者的聲音更好地從多個(gè)說(shuō)話(huà)對(duì)象中分離出來(lái)。Sagar 說(shuō)：“ Live Transcribe 也不排除會(huì)出 iOS 版本，讓更多受眾用上這項(xiàng)服務(wù)。”

　　【來(lái)源：品玩】