ChatGPT用于生產(chǎn)級對話式AI系統(tǒng)的那些缺點

　　譯者 | 布加迪

　　ChatGP憑借其詳細和酷似人類的書面回應(yīng)引起了全世界的關(guān)注，引發(fā)了關(guān)于人們應(yīng)該如何與這種人工智能(AI)進行互動的熱烈討論。從許多方面來看，ChatGPT都是其前身GPT-3.5的升級版，不過它仍然容易胡編亂造。專家們表示，對于生產(chǎn)級應(yīng)用而言，AI開發(fā)人員可能會考慮將ChatGPT與其他工具結(jié)合使用，以獲得完整的解決方案。

　　ChatGPT和GPT-3.5由OpenAI開發(fā)，并在微軟Azure上加以訓(xùn)練，兩者都是基于大型語言模型的對話式AI系統(tǒng)，但存在重大的區(qū)別。

　　首先，生成式預(yù)訓(xùn)練Transformer(GPT)3.5比ChatGPT早問世，其神經(jīng)網(wǎng)絡(luò)擁有比ChatGPT更多的層。GPT-3.5是作為一種通用語言模型開發(fā)而成的，它可以處理很多任務(wù)，包括翻譯語言、總結(jié)文本和回答問題。OpenAI為GPT-3.5提供了一套API接口，這為開發(fā)人員提供了一種更有效的方式來訪問其功能。

　　ChatGPT則基于GPT-3.5，是專門作為聊天機器人(“對話式代理”是業(yè)界更喜歡采用的術(shù)語)而開發(fā)的。一個限制因素是，ChatGPT只有文本界面，卻沒有API。ChatGPT是在龐大對話文本集上加以訓(xùn)練的，與GPT-3.5及其他生成式模型相比，它能更好地進行對話。生成回應(yīng)的速度比GPT-3.5更快，而且其回應(yīng)來得更準(zhǔn)確。

　　然而，這兩種模型都往往胡編亂造，或者用業(yè)內(nèi)人士所說就是“產(chǎn)生幻覺”。ChatGPT的幻覺率在15%到21%之間。與此同時，GPT-3.5的幻覺率從20%左右上升到41%，因此ChatGPT在這方面有所改善。

　　硅谷公司Moveworks在其AI對話式平臺上使用語言模型及其他機器學(xué)習(xí)技術(shù)，其平臺被眾多行業(yè)的公司所使用。這家公司的創(chuàng)始人兼機器學(xué)習(xí)副總裁Jiang Chen表示，盡管往往胡編亂造(這是所有語言模型存在的通病)，但ChatGPT比之前的AI模型有了重大改進。

　　Chen說：“ChatGPT確實給人們留下了深刻的印象，給了人們驚喜。”Chen之前是谷歌的工程師，專門開發(fā)這個科技巨頭的同名搜索引擎。“其推理能力可能會讓許多機器學(xué)習(xí)從業(yè)人員感到驚訝。”

　　Moveworks使用各種語言模型及其他技術(shù)為客戶構(gòu)建定制的AI系統(tǒng)。它一直是BERT的大用戶，BERT是幾年前由谷歌開源的語言模型。該公司使用GPT-3.5，并已經(jīng)開始使用ChatGPT。

　　不過據(jù)Chen表示，說到構(gòu)建生產(chǎn)級對話式AI系統(tǒng)，ChatGPT有其局限性。在使用這類技術(shù)構(gòu)建自定義對話式AI系統(tǒng)時，有各種因素需要權(quán)衡;重要的是要知道界線在哪里，以便構(gòu)建一個不會提供錯誤答案、沒有過度偏見、不會讓人們等待太久的系統(tǒng)。

　　Chen表示，ChatGPT在生成有意義的回應(yīng)以解答問題方面比BERT更勝一籌。具體來說，ChatGPT比BERT有更強大的“推理”能力，BERT被設(shè)計用來預(yù)測句子中的下一個單詞。

　　雖然ChatGPT和GPT-3.5可以提供令人信服的回應(yīng)以回答問題，但它們封閉的端到端特性阻止了像Chen這樣的工程師對它們進行訓(xùn)練。這也給為特定行業(yè)回答自定義的語料庫帶來了障礙(零售商和制造商使用的詞語與律師事務(wù)所和政府使用的詞語不同)。他表示，這種封閉性還增加了減少偏見的難度。

　　BERT足夠小，可以由Moveworks這樣的公司托管。該公司構(gòu)建了一條數(shù)據(jù)管道，用于收集某家公司所特定的數(shù)據(jù)，并將數(shù)據(jù)傳送到BERT模型中加以訓(xùn)練。這項工作讓Moveworks得以對最終的對話式AI產(chǎn)品施加更大的控制度，這在GPT-3.5和ChatGPT之類的封閉系統(tǒng)中是不可能實現(xiàn)的。

　　Chen說：“我們的機器學(xué)習(xí)堆棧是分層的。我們使用BERT，但我們也使用其他機器學(xué)習(xí)算法，這使我們得以將客戶特有的邏輯和客戶特有的數(shù)據(jù)融入其中。”

　　Chen表示，雖然OpenAI模型要大得多，并在大得多的語料庫上加以訓(xùn)練，但沒有辦法知道它們是否適合某個特定客戶。

　　他說：“(ChatGPT)模型經(jīng)過預(yù)訓(xùn)練，可以對饋入給它的所有知識進行編碼。它本身并不是為了執(zhí)行任何特定任務(wù)而設(shè)計的。它之所以能夠加速并實現(xiàn)快速增長，是由于這種架構(gòu)本身實際上很簡單。它是一層層同樣的東西，所以可以說它融合在一起。由于這種架構(gòu)，你知道它具有學(xué)習(xí)能力，但你不知道它在哪里編碼什么信息。你不知道哪幾層神經(jīng)元編碼了你想要推斷的特定信息，所以它更像是一個黑盒子。”

　　Chen認為，ChatGPT可能正大行其道，但它作為對話式AI的生產(chǎn)級工具所具有的用途可能有點被夸大了。一種更好的方法是利用多個模型的優(yōu)勢，而不是完全致力于一個特定的模型，從而更好地與客戶的性能、準(zhǔn)確性、偏見預(yù)期以及技術(shù)的底層功能保持一致。

　　他說：“我們的策略是在不同的地方使用一系列不同的模型。你可以用大模型來教小模型，然后小模型就會快得多。比如說，如果你想進行分段搜索，就應(yīng)該使用……某種BERT模型，然后將其作為某種向量搜索引擎來運行。ChatGPT就此而言太龐大了。”

　　雖然眼下ChatGPT在現(xiàn)實應(yīng)用環(huán)境中的用處可能比較有限，但這并不意味著它不重要。Chen表示，ChatGPT可能產(chǎn)生的持久影響之一是吸引從業(yè)人員的注意力，并激勵人們在對話式AI技術(shù)在未來可能實現(xiàn)的功效方面突破極限。

　　他說:“我確實認為它開辟了一個領(lǐng)域。展望未來，當(dāng)我們打開黑盒子，我認為會出現(xiàn)更多有意思的方式和應(yīng)用。這是我們感到興奮的地方，我們正致力于這個領(lǐng)域的研發(fā)。”

　　原文標(biāo)題：The Drawbacks of ChatGPT for Production Conversational AI Systems，作者：Alex Woodie