亞馬遜面向企業(yè)的 AI 聊天機(jī)器人 Amazon Q 或存在嚴(yán)重幻覺(jué)和數(shù)據(jù)泄露問(wèn)題引發(fā)質(zhì)疑

　　在發(fā)布不到一周后，Amazon Q —— 亞馬遜對(duì)抗 Copilot 的生成式 AI 助手——已面臨生存威脅，一份新報(bào)告顯示這款 AI 助手可能產(chǎn)生「嚴(yán)重幻覺(jué)」。

　　據(jù) The Platformer援引泄露文件報(bào)道，Q 正面臨準(zhǔn)確性和隱私問(wèn)題，包括幻覺(jué)和數(shù)據(jù)泄露。值得注意的是，這一報(bào)道正值兩項(xiàng)重要研究顯示，大型語(yǔ)言模型(LLM)在連接企業(yè)數(shù)據(jù)庫(kù)時(shí)高度不準(zhǔn)確，且變得越來(lái)越不透明之際發(fā)布。

　　然而，據(jù)亞馬遜一位發(fā)言人表示，Amazon Q 并未泄露任何機(jī)密信息。

　　「一些員工通過(guò)內(nèi)部渠道和工單系統(tǒng)分享反饋，這是亞馬遜的標(biāo)準(zhǔn)做法。那些反饋并未識(shí)別出任何安全問(wèn)題。我們感謝收到的所有反饋，并將繼續(xù)調(diào)整 Q，使其從預(yù)覽產(chǎn)品過(guò)渡到普遍可用，」該發(fā)言人表示。

　　盡管亞馬遜聲稱其為數(shù)百萬(wàn)人的工作伙伴，分析人士認(rèn)為亞馬遜 Q 可能還未準(zhǔn)備好用于企業(yè)環(huán)境。

　　EIIRTrend & Pareekh Consulting 首席執(zhí)行官 Pareekh Jain 表示：「如果存在幻覺(jué)，就不能在企業(yè)環(huán)境中用于決策。它適用于個(gè)人使用或獲取信息，但不適用于決策過(guò)程�！�

　　更多測(cè)試需求

　　亞馬遜可能在其生成式 AI 助手準(zhǔn)備好商業(yè)發(fā)布之前面臨重大的測(cè)試挑戰(zhàn)。Jain 強(qiáng)調(diào)了進(jìn)行廣泛內(nèi)部試驗(yàn)以確保準(zhǔn)備就緒的重要性。

　　「我認(rèn)為他們需要先對(duì)內(nèi)部員工進(jìn)行更多測(cè)試，」Jain 補(bǔ)充道。「顯然，這正是他們現(xiàn)在正在做的。最終，沒(méi)有外部來(lái)源報(bào)告這些問(wèn)題。這里有兩個(gè)方面：一是數(shù)據(jù)，另一個(gè)是算法。他們必須看看這是數(shù)據(jù)問(wèn)題還是算法問(wèn)題�！�

　　Q 利用了 17 年 AWS 的數(shù)據(jù)和開(kāi)發(fā)經(jīng)驗(yàn)，旨在作為企業(yè)的多功能工具。鑒于行業(yè)的發(fā)展方向，亞馬遜在這款 AI 產(chǎn)品上投入了巨大的賭注。

　　盡管「幻覺(jué)」并不削弱生成式 AI 在消費(fèi)者和企業(yè)用例中的潛力，但適當(dāng)?shù)挠?xùn)練至關(guān)重要，市場(chǎng)研究公司 IDC 的副總裁 Sharath Srinivasamurthy 表示。

　　「在更高質(zhì)量數(shù)據(jù)上訓(xùn)練模型、提示增強(qiáng)(引導(dǎo)用戶使用模型容易理解的預(yù)定義提示)、針對(duì)組織或行業(yè)特定數(shù)據(jù)和政策不斷微調(diào)模型、在響應(yīng)可疑時(shí)增加人工檢查層，這些都是需要采取的步驟，以充分利用這項(xiàng)新興技術(shù)，」Srinivasamurthy 說(shuō)。

　　幻覺(jué)是否會(huì)促使迫切需要進(jìn)行監(jiān)管?

　　關(guān)于幻覺(jué)的報(bào)告引發(fā)了對(duì)監(jiān)管需要和可能在某一時(shí)刻生效的規(guī)則嚴(yán)重性的擔(dān)憂。然而，Greyhound Research 首席分析師兼 CEO Sanchit Vir Gogia 指出，任何由此產(chǎn)生的監(jiān)管可能適得其反。

　　「事實(shí)上，任何監(jiān)管都可能減緩數(shù)據(jù)的交換和利用，」Gogia 說(shuō)。「因此，目前來(lái)說(shuō)，這個(gè)行業(yè)越不受監(jiān)管越好。這允許更容易、更順暢地使用數(shù)據(jù)。以 OpenAI 的 GPT 為例——如果對(duì)可捕獲數(shù)據(jù)設(shè)置嚴(yán)格的防護(hù)欄，那么它就不會(huì)取得成功�！�

　　Jain 也建議，設(shè)置外部邊界可能不是一個(gè)可行的想法，但公司本身可能會(huì)付出更多努力。

　　「監(jiān)管可能存在，但重點(diǎn)主要是自我監(jiān)管，」Jain 解釋說(shuō)�！副M管監(jiān)管和指導(dǎo)方針是必要的，但對(duì)于能夠執(zhí)行的審核程度有一定的限制。重點(diǎn)應(yīng)該是負(fù)責(zé)任的 AI，其中的邏輯可以向客戶解釋，而不是創(chuàng)建『黑箱』系統(tǒng)。然而，在我看來(lái)，有一個(gè)閾值，超過(guò)這個(gè)閾值，責(zé)任更多地轉(zhuǎn)向企業(yè)如何作為安全問(wèn)題來(lái)看待和實(shí)施這些措施�！�

　　所有目光聚焦于亞馬遜

　　雖然這些見(jiàn)解凸顯了更強(qiáng)大的內(nèi)部測(cè)試和自我監(jiān)管傾向的必要性，但在企業(yè)環(huán)境中部署 AI 的道路充滿了復(fù)雜性�，F(xiàn)在亞馬遜需要在這些挑戰(zhàn)中找到方向，特別是因?yàn)樗�在這一領(lǐng)域的晚期進(jìn)入。

　　「AWS 在這個(gè)領(lǐng)域有些落后，目前微軟和谷歌正在領(lǐng)先，」Jain 補(bǔ)充道�！敢虼�，人們對(duì)于聊天機(jī)器人和其他相關(guān)技術(shù)抱有更高的期望�！�