研究顯示ChatGPT在會計(jì)考試中不如大學(xué)生

　　上個月，OpenAI 推出了最新的 AI 聊天機(jī)器人 GPT-4，并聲稱該機(jī)器人在各種考試中表現(xiàn)異常出色，比如律師考試，研究生入學(xué)考試等。然而，根據(jù)美國楊百翰大學(xué)領(lǐng)導(dǎo)的一項(xiàng)研究，ChatGPT 在會計(jì)考試中的表現(xiàn)遠(yuǎn)不及人類，甚至還會一本正經(jīng)的胡說八道，為錯誤的答案辯解。

　　美國楊百翰大學(xué)的會計(jì)教授伍德和他的團(tuán)隊(duì)決定對 ChatGPT 進(jìn)行一次測試，看看它能否回答大學(xué)會計(jì)課程的考題。他們在社交媒體上發(fā)起了一個號召，吸引了來自 14 個國家 186 所教育機(jī)構(gòu)的 327 位合作者參與。他們共提供了 25181 道會計(jì)考題，涵蓋了會計(jì)信息系統(tǒng)、審計(jì)、財(cái)務(wù)會計(jì)、管理會計(jì)和稅務(wù)等領(lǐng)域。他們還邀請了 BYU 的本科生(包括伍德的女兒杰西卡)向 ChatGPT 輸入了 2268 道教科書上的考題。

　　結(jié)果顯示，ChatGPT 的表現(xiàn)雖然有亮點(diǎn)，但總體上還是不及學(xué)生水平。學(xué)生的平均分是 76.7%，而 ChatGPT 的平均分只有 47.4%。在 11.3% 的問題上，ChatGPT 的得分高于學(xué)生平均分，尤其是在會計(jì)信息系統(tǒng)和審計(jì)方面。但是，在稅務(wù)、財(cái)務(wù)和管理方面，ChatGPT 就顯得力不從心，可能是因?yàn)檫@些領(lǐng)域需要更多的數(shù)學(xué)運(yùn)算能力。在問題類型上，ChatGPT 比較擅長判斷題(68.7% 正確率)和選擇題(59.5% 正確率)，但是在簡答題上就很吃力(正確率在 28.7% 到 39.1% 之間)。一般來說，對于需要更高層次思維的問題，ChatGPT 更難回答。有時(shí)候，ChatGPT 甚至?xí)�為錯誤答案提供權(quán)威的解釋，或者對同一個問題給出不同的答案。

　　“它并不完美，你不能指望它能做所有事情。”杰西卡說，“僅僅依靠 ChatGPT 來學(xué)習(xí)是愚蠢的。”

　　IT之家注意到，研究人員還發(fā)現(xiàn)了一些其他有趣的現(xiàn)象：

　　ChatGPT 有時(shí)候不知道自己在做數(shù)學(xué)題，會犯一些荒謬的錯誤，比如在減法問題里加兩個數(shù)，或者除法算錯。

　　ChatGPT 經(jīng)常會為自己的答案提供解釋，即使它們是錯誤的。有時(shí)候，ChatGPT 的描述是正確的，但它卻選擇了錯誤的選項(xiàng)。

　　ChatGPT 有時(shí)候會編造事實(shí)。比如，在提供參考文獻(xiàn)時(shí)，它會生成一個看起來真實(shí)的參考文獻(xiàn)，但其實(shí)完全是虛構(gòu)的，甚至有時(shí)候連作者都不存在。

　　盡管如此，研究人員相信，在未來的版本中，ChatGPT 會在會計(jì)問題上有所進(jìn)步，并解決上述問題。他們認(rèn)為最有前景的是，這款聊天機(jī)器人可以幫助改善教學(xué)和學(xué)習(xí)，比如設(shè)計(jì)和測試作業(yè)，或者用于草擬項(xiàng)目的部分內(nèi)容。

　　“這是一個反思的機(jī)會，我們要看看我們是否在教授有價(jià)值的信息。”研究的合作者之一，BYU 的會計(jì)教授拉森說，“這是一種顛覆，我們需要評估我們接下來該怎么做。當(dāng)然，我還是會有助教，但其工作內(nèi)容會有所不同。”

　　這項(xiàng)研究發(fā)表在《會計(jì)教育問題》雜志上。