百度 NLP：先解決語義理解，再談機(jī)器翻譯取代人類

　　9 月 28 日，Google 在 Research Blog 中介紹其神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯系統(tǒng)(GNMT)進(jìn)展，譯文質(zhì)量的大幅提升引發(fā)業(yè)內(nèi)極大關(guān)注。據(jù)稱，在雙語評估者的幫助下，通過對維基百科和新聞網(wǎng)站的例句測定，在多個樣本的翻譯中谷歌神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯系統(tǒng)將錯誤降低了 55-85%甚至更多。

　　即便如此，網(wǎng)友發(fā)現(xiàn)其翻譯效果雖有顯著提升，但仍未避免將「我想下班」翻譯為「I want to work」等低級錯誤(第二天已被修復(fù))。

　　事實上百度的在線翻譯系統(tǒng)，一年前就應(yīng)用了基于神經(jīng)網(wǎng)絡(luò)的翻譯方法(NMT)。去年百度曾在 ACL 會議上發(fā)表論文《Multi-Task Learning for Multiple Language Translation》，探討用 NMT 技術(shù)解決多語言翻譯及語料稀疏的問題。該論文得到業(yè)內(nèi)研究人員的極大關(guān)注，并被 ACL2016 的 NMT Tutorial 列為研究方向。Google 和 Bengio 的研究團(tuán)隊都在此論文的基礎(chǔ)上進(jìn)一步擴(kuò)展了研究。

　　為此，機(jī)器之心專訪百度自然語言處理部技術(shù)負(fù)責(zé)人吳華、高級總監(jiān)吳甜，就神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯系統(tǒng)的優(yōu)缺點、如何獲得高質(zhì)量訓(xùn)練數(shù)據(jù)及百度翻譯目前進(jìn)展展開話題。同時也借此機(jī)會了解百度自然語言處理部及其開展的 NLP 技術(shù)研發(fā)工作。以下為采訪內(nèi)容整理，以饗讀者。

　　NMT、SMT 的優(yōu)與缺

　　機(jī)器之心：能請您先介紹一下百度 NLP 部門嗎?

　　答：百度 NLP 部門在公司內(nèi)部是具有較長歷史的部門，從最初搜索誕生時，就已經(jīng)有 NLP 方面的工作。2010年初，百度正式成立自然語言處理部。現(xiàn)在，這個團(tuán)隊人員構(gòu)成非常多元，有自然語言處理、機(jī)器學(xué)習(xí)、信息檢索、數(shù)據(jù)挖掘、機(jī)器翻譯等多領(lǐng)域的專業(yè)性人才，擅長工程實踐和擅長科學(xué)研究的人才都能夠在團(tuán)隊中發(fā)揮重要作用。同時，架構(gòu)開發(fā)、前端開發(fā)、客戶端等軟件開發(fā)和硬件開發(fā)工程師，產(chǎn)品設(shè)計及語言學(xué)專業(yè)人才也是團(tuán)隊的重要組成部分。

　　整個部門的大方向有幾個。第一是為百度的眾多產(chǎn)品提供最基礎(chǔ)的、NLP 模型算法，包括百度所有產(chǎn)品都在用的分詞算法、專名識別、詞性分析、語義理解、篇章理解等等一些基礎(chǔ)的一些工具。目前 NLP 部門為整個公司提供一個大型平臺 NLP 云，未來這個平臺也會對公司外有所開放，目前(這個平臺)每天都有千億量級的調(diào)動量。還有貼近應(yīng)用的一些大型的應(yīng)用系統(tǒng)，比如說深度問答系統(tǒng)。NLP 開發(fā)的深度問答系統(tǒng)在百度的搜索產(chǎn)品上，會有一些直接展示。比如在搜索引擎中提出一個問題，用戶可以不需要打開網(wǎng)頁，直觀的得到答案。

　　第二大方向是語義理解，實際上從最初期開始，NLP 就一直在致力于這樣的一個方向。在原來的搜索時代，會分析用戶的搜索 Query 含義是什么。到今天新的產(chǎn)品形態(tài)產(chǎn)生之后，已經(jīng)不僅僅是分析搜索的意圖。越來越多的用戶會開始嘗試有上下文的、更積極的交互方式，這就需要有上下文的理解。

　　第三個方向是對話系統(tǒng)。對話系統(tǒng)就是讓機(jī)器能像人一樣，和用戶有對話性質(zhì)的交互。NLP 過去幾年一直在積累相應(yīng)的技術(shù)，通過對話引導(dǎo)讓用戶和機(jī)器人能一句一句的交流下去。這部分實際上已經(jīng)應(yīng)用在百度的度秘產(chǎn)品中。

　　第四個就是機(jī)器翻譯。百度在機(jī)器翻譯上已有 6 年的積累，每天有大量用戶使用線上機(jī)器翻譯產(chǎn)品，翻譯 API 也有很多外部的企業(yè)開發(fā)者在使用。從 2014 年開始，百度嘗試做基于神經(jīng)網(wǎng)絡(luò)的翻譯系統(tǒng)，正式上線發(fā)布時間要早于 Google 一年。并且我們在發(fā)布的同時，還開發(fā)了離線版本，可以在手機(jī)上使用。

　　還有一些是更前瞻的探索。比如小度機(jī)器人。機(jī)器人能看、能寫、能聽，和人相比它還需要一個特別重要的能力就是思考。思考的前提，是先能聽得懂語言。所以從 NLP 角度來說，更多的是希望機(jī)器人能懂語言、理解語言，然后能夠跟人交流。那這款小度機(jī)器人，過去的幾年也有頻繁的亮相。

　　機(jī)器之心：谷歌最近發(fā)布了神經(jīng)網(wǎng)絡(luò)翻譯系統(tǒng)，我們怎么看這個系統(tǒng)?

　　答：Google 發(fā)布的系統(tǒng)綜合了 NMT(Neural Machine Translation，神經(jīng)機(jī)器翻譯)領(lǐng)域近年來的研究成果。其所使用的 Seq2Seq 翻譯模型、Attention 機(jī)制、以及深層 LSTM，在此前已有 Bengio 團(tuán)隊等多篇論文提及，從 Google 發(fā)布的論文的參考文獻(xiàn)中可以看到。

　　此外，Google 針對大數(shù)據(jù)和深層模型的訓(xùn)練，進(jìn)行了諸多工程方面的優(yōu)化。例如，其使用了自身研發(fā)的針對深度學(xué)習(xí)的計算機(jī)器—TPU，加速了訓(xùn)練和解碼。

　　機(jī)器之心：那么百度是否有相關(guān)的研究?

　　答：百度在這方面的研究起步很早，成果也非常多。而且，我們的神經(jīng)網(wǎng)絡(luò)翻譯系統(tǒng)早在 2015 年 5 月就正式上線發(fā)布了。

　　我們從 2014 年開始便嘗試做基于神經(jīng)網(wǎng)絡(luò)的翻譯系統(tǒng)，2015 年發(fā)布在線翻譯系統(tǒng)的時，BLEU(Bilingual Evaluation Understudy)指標(biāo)已經(jīng)比傳統(tǒng)的 SMT(統(tǒng)計機(jī)器翻譯)系統(tǒng)高六、七個點。我們同時還開發(fā)了離線版本，可以在手機(jī)上使用，

　　當(dāng)時學(xué)術(shù)界對于深度學(xué)習(xí)的翻譯方法到底是否實用還有一番爭論，我們很早就發(fā)現(xiàn)基于 Attention 機(jī)制的 Seq2Seq 深度學(xué)習(xí)模型是有用的，經(jīng)過多次實驗驗證，在很多集合上超過了傳統(tǒng)方法。同時，針對 NMT 本身存在的一些問題，進(jìn)行了技術(shù)攻關(guān)，短短 3 個月的時間便完成了開發(fā)和上線。當(dāng)大家還在討論 Attention 機(jī)制時，我們已經(jīng)結(jié)合了原有的統(tǒng)計方法上線。可以說，百度翻譯是全球首個互聯(lián)網(wǎng)神經(jīng)網(wǎng)絡(luò)翻譯系統(tǒng)。