研究發(fā)現(xiàn) 52% 的 ChatGPT 編程問題回答錯誤

　　在過去的幾年里，計(jì)算機(jī)程序員紛紛轉(zhuǎn)向諸如 OpenAI 的 ChatGPT 之類的聊天機(jī)器人來幫助他們編碼，這對 Stack Overflow 等網(wǎng)站造成了打擊，導(dǎo)致其去年不得不裁員近30% 的員工。然而，問題在于，普度大學(xué)的研究團(tuán)隊(duì)在計(jì)算機(jī) - 人類交互會議上發(fā)布了研究成果，發(fā)現(xiàn) ChatGPT 生成的編程問題答案中有52% 是錯誤的。

　　對于一個人們依賴于準(zhǔn)確性和精確性的程序來說，這一比例是驚人的，這也突顯出其他最終用戶如作家和教師所經(jīng)歷的問題:像 ChatGPT 這樣的 AI 平臺經(jīng)常在空中憑空產(chǎn)生完全錯誤的答案。研究人員在研究中回顧了517個 Stack Overflow 的問題，并分析了 ChatGPT 嘗試回答這些問題的結(jié)果。他們寫道:“我們發(fā)現(xiàn)52% 的 ChatGPT 答案包含錯誤信息，77% 的答案比人類答案更冗長，78% 的答案與人類答案存在不同程度的不一致”。

　　該團(tuán)隊(duì)還對隨機(jī)選擇的2000個 ChatGPT 答案進(jìn)行了語言分析，發(fā)現(xiàn)這些答案 “更正式和分析性更強(qiáng)”，同時(shí)表現(xiàn)出 “更少的負(fù)面情緒” —— 這是 AI 傾向于產(chǎn)生的單調(diào)而愉快的語氣。尤其令人擔(dān)憂的是，許多人類程序員似乎更喜歡 ChatGPT 的答案。普度大學(xué)的研究人員對12名程序員進(jìn)行了調(diào)查，并發(fā)現(xiàn)他們以35% 的比例更傾向于選擇 ChatGPT，并且在39% 的情況下沒有發(fā)現(xiàn) AI 生成的錯誤。

　　為什么會發(fā)生這種情況呢?這可能只是因?yàn)?ChatGPT 比在線人更有禮貌。研究人員寫道:“后續(xù)的半結(jié)構(gòu)化訪談揭示出，禮貌的語言、文雅而教科書般的回答方式以及全面性是 ChatGPT 答案看起來更具說服力的主要原因之一，因此參與者放低了警惕，忽略了 ChatGPT 答案中的一些錯誤信息”。

　　這項(xiàng)研究表明，ChatGPT 仍然存在重大缺陷，但這對于被 Stack Overflow 裁員的人或者不得不糾正 AI 生成的代碼錯誤的程序員來說是一個苦澀的安慰。