研究顯示ChatGPT在會(huì)計(jì)考試中不如大學(xué)生

　　上個(gè)月，OpenAI 推出了最新的 AI 聊天機(jī)器人 GPT-4，并聲稱(chēng)該機(jī)器人在各種考試中表現(xiàn)異常出色，比如律師考試，研究生入學(xué)考試等。然而，根據(jù)美國(guó)楊百翰大學(xué)領(lǐng)導(dǎo)的一項(xiàng)研究，ChatGPT 在會(huì)計(jì)考試中的表現(xiàn)遠(yuǎn)不及人類(lèi)，甚至還會(huì)一本正經(jīng)的胡說(shuō)八道，為錯(cuò)誤的答案辯解。

　　美國(guó)楊百翰大學(xué)的會(huì)計(jì)教授伍德和他的團(tuán)隊(duì)決定對(duì) ChatGPT 進(jìn)行一次測(cè)試，看看它能否回答大學(xué)會(huì)計(jì)課程的考題。他們?cè)谏缃幻襟w上發(fā)起了一個(gè)號(hào)召，吸引了來(lái)自 14 個(gè)國(guó)家 186 所教育機(jī)構(gòu)的 327 位合作者參與。他們共提供了 25181 道會(huì)計(jì)考題，涵蓋了會(huì)計(jì)信息系統(tǒng)、審計(jì)、財(cái)務(wù)會(huì)計(jì)、管理會(huì)計(jì)和稅務(wù)等領(lǐng)域。他們還邀請(qǐng)了 BYU 的本科生(包括伍德的女兒杰西卡)向 ChatGPT 輸入了 2268 道教科書(shū)上的考題。

　　結(jié)果顯示，ChatGPT 的表現(xiàn)雖然有亮點(diǎn)，但總體上還是不及學(xué)生水平。學(xué)生的平均分是 76.7%，而 ChatGPT 的平均分只有 47.4%。在 11.3% 的問(wèn)題上，ChatGPT 的得分高于學(xué)生平均分，尤其是在會(huì)計(jì)信息系統(tǒng)和審計(jì)方面。但是，在稅務(wù)、財(cái)務(wù)和管理方面，ChatGPT 就顯得力不從心，可能是因?yàn)檫@些領(lǐng)域需要更多的數(shù)學(xué)運(yùn)算能力。在問(wèn)題類(lèi)型上，ChatGPT 比較擅長(zhǎng)判斷題(68.7% 正確率)和選擇題(59.5% 正確率)，但是在簡(jiǎn)答題上就很吃力(正確率在 28.7% 到 39.1% 之間)。一般來(lái)說(shuō)，對(duì)于需要更高層次思維的問(wèn)題，ChatGPT 更難回答。有時(shí)候，ChatGPT 甚至?xí)�為錯(cuò)誤答案提供權(quán)威的解釋?zhuān)�或者�?duì)同一個(gè)問(wèn)題給出不同的答案。

　　“它并不完美，你不能指望它能做所有事情。”杰西卡說(shuō)，“僅僅依靠 ChatGPT 來(lái)學(xué)習(xí)是愚蠢的。”

　　IT之家注意到，研究人員還發(fā)現(xiàn)了一些其他有趣的現(xiàn)象：

　　ChatGPT 有時(shí)候不知道自己在做數(shù)學(xué)題，會(huì)犯一些荒謬的錯(cuò)誤，比如在減法問(wèn)題里加兩個(gè)數(shù)，或者除法算錯(cuò)。

　　ChatGPT 經(jīng)常會(huì)為自己的答案提供解釋?zhuān)�即使它們是錯(cuò)誤的。有時(shí)候，ChatGPT 的描述是正確的，但它卻選擇了錯(cuò)誤的選項(xiàng)。

　　ChatGPT 有時(shí)候會(huì)編造事實(shí)。比如，在提供參考文獻(xiàn)時(shí)，它會(huì)生成一個(gè)看起來(lái)真實(shí)的參考文獻(xiàn)，但其實(shí)完全是虛構(gòu)的，甚至有時(shí)候連作者都不存在。

　　盡管如此，研究人員相信，在未來(lái)的版本中，ChatGPT 會(huì)在會(huì)計(jì)問(wèn)題上有所進(jìn)步，并解決上述問(wèn)題。他們認(rèn)為最有前景的是，這款聊天機(jī)器人可以幫助改善教學(xué)和學(xué)習(xí)，比如設(shè)計(jì)和測(cè)試作業(yè)，或者用于草擬項(xiàng)目的部分內(nèi)容。

　　“這是一個(gè)反思的機(jī)會(huì)，我們要看看我們是否在教授有價(jià)值的信息。”研究的合作者之一，BYU 的會(huì)計(jì)教授拉森說(shuō)，“這是一種顛覆，我們需要評(píng)估我們接下來(lái)該怎么做。當(dāng)然，我還是會(huì)有助教，但其工作內(nèi)容會(huì)有所不同。”

　　這項(xiàng)研究發(fā)表在《會(huì)計(jì)教育問(wèn)題》雜志上。